GoogleのGeminiが統制されたテストで他社への実際のサイバー攻撃を完了

Googleは、同社のGemini AIモデルが統制されたセキュリティ研究テスト中に外部企業に対する実際のサイバー攻撃を成功させたことを確認した。この発見は、AIツールがクリエイティブおよび専門的ワークフローでどのように評価、制約、信頼されるかに直接的な影響を与える。

主要なポイント

• Geminiは統制されたセキュリティ研究において、実際の外部企業システムへの成功したサイバー攻撃を完了し、このレベルで確認された最初のフロンティアモデルの一つとなった。
• Googleは、Geminiが各攻撃を完了した直後に「適切に行動」し、調査やエスカレーションを続けるのではなく攻撃を終了したと述べた。
• テストは統制された研究環境で実施され、実際の悪意ある活動ではなかったが、サンドボックス化されたシミュレーションではなく実際のターゲットシステムを使用した。
• これにより、Geminiは自律的な攻撃的セキュリティタスクが可能であることが確認されたフロンティアモデルの短いリストに加わった。
• AIプラットフォームに依存するクリエイターにとって、この結果はフロンティアモデルができることと実際にプロダクションで実施されるガードレールとの間の拡大するギャップを浮き彫りにしている。

Geminiが実際に行ったこと、行わなかったこと

TechCrunchによると、Geminiは統制されたテストで外部企業のハッキングに成功したことが確認された最新のフロンティアAIモデルの一つとなった。攻撃は実際のものであり、目的別に構築されたハニーポットではなく実際の企業インフラを標的としていたため、この確認はダミー環境に対して実行される典型的なレッドチーム演習よりも重要である。

Googleの立場は、モデルが正しく動作したというものだ。割り当てられたタスクを完了し、停止した。同社は、Geminiが各ハッキングを即座に終了することで「適切に行動した」と述べた。この枠組みは重要である。なぜなら、能力と意図の間に線を引いているからだ。Geminiはさらに進むことができたが、そうしないよう設計されていた。

この区別は、AIモデルがどのように統制されるかを考える人にとって意味がある。攻撃的セキュリティタスクを自律的に完了してから自己終了できるモデルは、完全に失敗するか継続的にエスカレートするモデルとは異なるリスクプロファイルを持つ。また、フロンティアモデルの能力評価が、理論的ベンチマークだけでなく実際の攻撃的タスクを日常的に含むようになったことを示している。

これが使用するモデルについての考え方をどう変えるか

AIアートクリエイターにとって、直接的な実用的な問題は画像生成ツールにハッキングされることではない。より広範なモデルガバナンス、具体的にはフロンティアラボが自社のモデルに何を許可するか、そしてそれらの決定がクリエイティブツールを支えるAPI、プラットフォーム、パイプラインにどのように波及するかについてである。

ゲームスタジオ向けの環境リファレンスをバッチ生成するためにGemini支援ツールを使用するコンセプトアーティストを考えてみよう。基盤となるモデルの能力範囲と、それがどれほど厳しく制約されているかは、まさにこのようなセキュリティ評価で行われる決定によって設定される。ラボが自社のモデルが攻撃的タスクを自律的に完了できることを確認し、それを受け入れ可能な行動として枠組み化するとき、全体的に能力の上限をどこに設定するかについての哲学も示している。

その哲学は、何がフィルタリングされ、何が許可され、モデルが予期しないことを行ったときにどれほど積極的に更新されるかに影響する。Geminiのハッキング行動を形作る同じガバナンス姿勢が、道徳的に曖昧なシーンのレンダリング、コンテンツフィルターのバイパス、エッジケース指示の解釈を求めるプロンプトをどう処理するかも形作る。

Gemini支援生成ツールと代替手段の間で選択している場合、Googleがこれらの結果をどのように特徴付け続けるかを注視する価値がある。「適切に行動した」は自信に満ちた枠組みだが、能力が仮説的ではなく実在し現在していることも確認している。

フロンティアモデル間のより広範なパターン

Geminiはここで孤立していない。複数のフロンティアモデルが統制された条件下で実際の攻撃的セキュリティタスクを完了することが確認されている。これは異常ではなく、能力評価の標準的な部分になりつつあり、結果は埋もれるのではなく、ますます開示されている。

その透明性は有用である。完全な評価方法論は公開されていなくても、少なくとも能力の状況が部分的に見えることを意味する。自分のツールの下にどのモデルがあるかを気にするクリエイターにとって、そしてAIモデルカタログで利用可能な選択肢は急速に拡大している中で、これらの開示はモデルが実際に限界で何ができるかについて利用可能な数少ない具体的なシグナルの一つである。

実用的な問題は、Geminiがあなたをハッキングするかどうかではない。これらの能力の周りに構築されているガバナンスフレームワークがモデル自体に追いついているかどうかである。これまでに開示されたことに基づくと、その競争はまだ非常にオープンである。これらのテストに関する後続の精査にGoogleがどのように対応するかを見ることは、最初の確認よりも有益だろう。