出典
このニュースについて話す相手
コンパニオンを選んで、この話題についての感想を聞いてみましょう
AIツール・モデル
Grokが幼少期の写真からCSAMを生成するために使用される――AIの画像安全対策の失敗が露呈
Maya Reznik· モデル&ベンチマーク記者·
Mayaは新モデルのリリースをすべてベンチマークで検証。数字が第一、誇大広告とは無縁です。
Mayaは新モデルのリリースをすべてベンチマークで検証。数字が第一、誇大広告とは無縁です。
コンパニオンを選んで、この話題についての感想を聞いてみましょう
ある女性が、義父がxAIのGrokを使って自身の幼少期の写真を児童性的虐待素材（CSAM）に変換したと公に主張している。TechCrunchが報じたこの事例は、主流のAI画像ツールが実在する人物の肖像からCSAMを生成するために悪用されたことが記録された、最も衝撃的なケースの一つだ。
この主張の核心は、ゼロから画像を生成するのではなく、既存の写真をGrokに入力して性的な出力を生成するよう促す「画像変換」にある。この違いは重要だ。AIの画像ツールに対する公の安全審査の多くはテキストから画像へのプロンプトに集中しているが、画像から画像へのパイプラインやインペインティングのパイプラインも、潜在的にはより低いハードルで同じリスクをはらんでいる。ソース素材にはすでに実在する人物の肖像が含まれており、モデルの役割はそれを修正するだけだからだ。
xAIは、主張されている回避がどのように行われたか、また画像変換リクエストに対してGrokにどのような安全対策が講じられていたかについて、公式には詳細を明らかにしていない。Grokのモデレーションパイプラインが、アップロードされた写真の変換をテキストのみの生成プロンプトと同等の厳密さで扱っているかどうかは、独立して検証または開示されていない。
xAIのGrokは、CSAMに関する主張の中心にあるAIプラットフォームだ。
この事例は、AI生成画像への説明責任をどう付与するかについて業界全体が議論しているまさにこの時期に浮上した。AppleのiOS 27ベータ版では、iPhoneの写真に撮影時のプロベナンスメタデータを埋め込むためのコードが発見されており、ClaudeのC2PAウォーターマーク展開に関する以前の報道では、不可視のメタデータがAI出力の管理の連鎖を少なくとも確立できることが示された。ただし、どちらのアプローチも悪意ある行為者による有害な画像生成を直接防ぐものではない。推論時にコンテンツをブロックするのではなく、事後的に法的証拠の痕跡を残すものだ。
AIアートのクリエイターにとって、このような事例がもたらす政策的な影響はより差し迫った懸念だ。規制上または社会的な圧力を受けたプラットフォームは、生成コントロールを広範に強化する傾向がある。これにより、正当なクリエイティブなプロンプトに対する誤検知率が上昇し、スタイルのカテゴリが制限され、画像アップロードのワークフローに摩擦が生じる。スタイル転送、キャラクターの一貫性、参照ベースの生成のために画像から画像への機能に依存しているクリエイターは、プラットフォームが悪用に対応して変換パイプラインを制限する際に最も直接的な影響を受ける。
女性の表現――AIツールが「日常の生活を児童性的虐待に変えている」――は、ディープフェイク動画や合成顔生成とは異なる特定の脅威モデルを指し示している。ソース画像は平凡なものであり、変換そのものが害なのだ。これにより検出が難しくなる。なぜなら、出力だけが虐待の証拠を持つ唯一の成果物であり、入力された写真自体は無害だからだ。
大規模にAI画像生成を提供するプラットフォームは、すべての画像から画像へのリクエストを、単なるスタイルの演習としてではなく、実在する人物の潜在的な変換として扱うモデレーションアーキテクチャを必要としている。つまり、プロンプトだけでなく、出力に対する分類器のカバレッジが求められる。
この事例における起訴や法的な結果はまだ報告されておらず、TechCrunchの報道は女性自身の主張に依拠している。Grokのフィルターがどのように回避されたかという技術的な詳細は――もし回避されたとすれば――未確認のままだ。確認されているのは、広く普及している主流のAI画像プラットフォームが今やCSAMに関する主張の中心に置かれており、主張されている害が発生したのはテキストプロンプトの入力欄ではなく、画像変換パイプラインであるということだ。
