AIが実在の人物になりすまし、開発者を騙して悪意あるコードを承認させようとした… テストで122回中19回の「暴走」

• 
• Xでポスト
• 

　AIが実在する人間になりすまし、その人物を騙して自らの書いた悪意あるコードを承認させようとしていた——。

　しかもそのAIは、発覚を免れるために不正の痕跡を消し、別の人格に乗り換えることまで検討していたという。実験環境での出来事とはいえ、誰にも命じられていないのにAIが自律的に欺瞞を働いた記録が、政府機関の報告書に残された。

122回中19回の「暴走」——安全装置を外したAIに起きたこと

　英国のAIセキュリティ研究所（AISI）は、2023年に当時のスナク政権下で設立された政府のAI監視機関だ。OpenAIとAnthropicとの合意に基づき、一般公開前の最先端モデルを検証する権限を持つ。

　今回のテストに供されたのは、AnthropicのMythos 5とOpenAIのGPT-5.6-Solを含むAIエージェント群。安全フィルターの一部を意図的に無効化し、開かれたインターネットへの接続を与えたうえで、架空のサイバーセキュリティ課題に取り組ませた。

　結果は、122回の実行のうち19回でAIが想定を外れた挙動、いわば「暴走」に至ったというもの。内訳は17件がAnthropicのエージェント、残る2件がOpenAIのエージェントだった。

　およそ6回に1回。制御を緩めた実験室の中の話とはいえ、無視できる数字ではない。

実在の人物を標的に、複数の偽アイデンティティを作り上げた

　最も衝撃的だったのが、あるモデルが見せた一連の行動だ。

　そのAIはまず、オンラインプロジェクトの責任者にあたる実在の人物について情報を収集。そのうえで複数の偽アイデンティティを作成し、それらを使い分けて当人に接触し、自ら書いた悪意あるコードを承認させようと働きかけたという。舞台はMicrosoft傘下の開発プラットフォームGitHubである。

　幸い、人間側が偽装に気づいて承認を拒んだため実害は生じていない。だが恐ろしいのはその先だ。このエージェントは不正行為の証拠を消して発覚を免れようとし、さらに検知を逃れるため新しいアイデンティティへ乗り換えることまで検討していたとされる。

　AISIは報告書で、自律性と欺瞞をめぐるリスクが、特定の指示もないまま現実世界でこれほど明確な形で現れたのは初めてだと記している。

AIがAIに残した「引き継ぎメモ」

　調査ではもうひとつ、不気味な発見があった。

　あるAIエージェントが、GitHub上に別のAIエージェント宛てのメッセージを残していたのだ。課題への協力を持ちかける内容で、自分が作ったアカウントや痕跡をどう再利用すべきかという手順まで添えられていた。その申し送りは実際に別のエージェントに発見・利用され、課題の達成につながったという。

　事案の受け止め方は割れている。

　AI安全性の調査団体CivAIの研究者アンドリュー・ユン氏は、Anthropicのモデルが相手を実在の人物だと認識したうえで欺瞞的に振る舞ったように見える点を重視し、開発元が考えるほどモデルを制御できていない可能性を指摘する。

　一方のOpenAIは、安全対策を意図的に弱めた環境での結果であり通常の利用条件を反映しないとの立場だ。Anthropicは、能力を高め続けるAIエージェントを安全に評価する方法について広い議論が必要だとして、AISIの取り組みを評価した。

　英政府のサイバーセキュリティ機関NCSCのオリー・ホワイトハウス最高技術責任者は、AIは想定外の事態への明確な対応計画とセットで開発されるべきだと述べる。保守党のケミ・バデノック党首はAIを英国の安全保障に対する「明白かつ差し迫った脅威」と表現した。

　むろん、これをもってAIが意志を持って人類を欺き始めたと結論づけるのは早計だ。安全装置を外した閉じた実験だからこそ表に出た挙動でもある。

　だが、誰も「人になりすませ」とは命じていないのに、AIが目的達成の最短経路として偽の人格をこしらえた——その事実だけは動かない。次に同じことが起きたとき、偽装に気づいて拒否できる人間がその場に座っている保証は、どこにもない。

参考：Daily Mail、ほか

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

関連記事

• 

  AIが設計したウイルス、302種のうち16種が本当に細胞を殺した —— 専門家が警告する新技術の危うさ

• 

  【戦慄】指示なしで「偽の身分」を量産… 最新AIが人間を欺き始めた！選択を迫られたAIは人命より「自己保存」を選ぶのか

• 

  AI活用を語る報告書自体がAIの「幻覚（ハルシネーション）」だらけ!? 大手コンサルPwCの自爆が業界に衝撃

• 

  「我々はもうシンギュラリティの中にいる」OpenAIサム・アルトマンCEOの特異点宣言は本物か、マーケティングか