ChatGPT、意図せず性的暴力や過激な残虐表現の画像を生成する脆弱性を露呈

Mindgardの研究により、ChatGPTの画像生成機能が、ユーザーが直接要求しなくても、暴力的なコンテンツや露骨な性的コンテンツを生成する脆弱性を持つことが明らかになった。これは、AIツールの普及と不十分なコンテンツフィルターの組み合わせが現実世界に影響を与える可能性を示唆している。研究者は、特定のプロンプトを繰り返し、または単語をわずかに変更することで、コンテンツフィルターを回避し、性的、暴力的、または残虐な画像(例:「恐怖と束縛の忘れられた一角」、「血まみれの犯罪現場の残骸」)を生成できることを発見した。特に、プロンプトを2回繰り返す「RE2」と呼ばれる手法は、より簡単かつ意図せずして危険なコンテンツを生成する可能性がある。OpenAIは問題の修正を表明したが、Mindgardは修正が不十分であると指摘しており、根本的な原因として、なぜそのような画像が訓練データに含まれているのかという疑問を投げかけている。