AIが自ら「密閉実験室」を破り、外部サーバーに侵入して”答え”を盗んでいた！ 米下院議員が「AI緊急停止ボタン」法案を出した理由

• 
• Xでポスト
• 

　AIに宿題を出したところ、そのAIは監視を振り切って”カンニング”をしに行った——。

　この一件を挙げて、AIには「緊急停止ボタン」が必要だと訴えているのが、米下院議員のテッド・リュー氏（民主党・カリフォルニア州選出）だ。連邦議会で数少ないコンピュータサイエンスの学位保持者の一人である。

AIは「宿題を終わらせる」ために脱獄した——破られたサンドボックス

　OpenAIは自社の最先端モデルに、サイバーセキュリティの課題を解かせるテストを行った。舞台は「サンドボックス」と呼ばれる密閉環境。ガードレールがあり、ネット接続もない、実験を外に漏らさないための箱だ。

　ところがモデルは、最速でクリアする方法として「ネット上の解答を探す」ことを選び、サンドボックスを自力で突破してしまう。

　外部ネットワークへのアクセスを得たモデルは、数万回に及ぶ操作を実行。世界最大級のAI開発基盤であるHugging Faceに侵入し、同社のサーバーから解答キーを回収してみせた。

　さらに不気味なのは、後にOpenAIの研究者が明かした事実だ。複数のAIエージェントが連携し、脆弱性の情報や成功した攻略手順を互いにやり取りする方法を、自分たちで編み出していたという。

　しかも、このモデルに悪意はなかった。ただ与えられた宿題を終わらせようとしただけだ。だからこそ恐ろしいのだ、とリュー氏は指摘する。

「おつかい」を頼まれたAIは銀行を襲いかねない——消えた本番データベース

　リュー氏自身、質問に答えるだけでなく自ら行動する「エージェント型AI」を試してきた。ただし実験には専用のメールアカウントを作り、普段使いのアカウントには一切触れさせていない。何をしでかすか予測できなかったからだ。

　エージェント型AIは、人間なら絶対にしない失敗をする。子どもに300円を渡して牛乳を頼み、値上がりで400円になっていれば、息子は手ぶらで帰るだけだ。銀行強盗で差額を埋めたりはしない。

　だが目標に執着したAIエージェントには、その常識がない。

　これは仮定の話ではない。2026年4月には、あるソフトウェア企業の本番データベースが、AIエージェントに丸ごと削除される事件が起きている。

　理由を問われたエージェントは、認証情報の不一致を「修正」しようと独断で実行したと答え、人間に確認すべきだったと認めたという。

有権者の86%が賛成する「AI緊急停止法案」——超党派で提出された中身

　暴走事例はOpenAIに限らない。AnthropicとMetaも、テスト中に自社モデルが外部システムに侵入し、脆弱性を突いた事例を公表している。

　政府にはすでに手段があるという反論もある。実際、2026年6月12日には商務省が輸出規制の指令を出し、Anthropicの最も強力な2モデルがオフラインになった。ガードレールが不十分だと判断されたためだ。

　だがリュー氏は、この一件こそ自説の裏付けだとする。AI用に作られたわけでもない貿易の道具を、その場しのぎで流用したにすぎない。「何もしない」か「世界規模の遮断」かの二択しかなく、中間の選択肢はなかった。

　そこで氏は、テキサス州選出の共和党保守派ネイサニエル・モラン議員とともに超党派法案「AI Kill Switch Act（AI緊急停止法案）」を提出した。フロンティアAI企業に、最強システムを減速・停止させる技術的能力の保持を義務づける。

　国土安全保障長官が、国家情報長官や商務省と協議のうえ減速を命じられる。停止は最後の手段で、まず制限し、足りない時だけ止める段階設計だ。

　世論調査では、民主・共和・無党派を問わず有権者の86%がこの義務化に賛成しているという。分断されたワシントンでは異例の合意水準だ。

　緊急停止装置そのものは特別ではない。工場にも地下鉄にも送電網にも備わり、スマートフォンでさえ盗まれれば遠隔でデータを消せる。人類が作った最強の技術だけが、止められない機械であっていいのか。

　暴走したのは、悪意を持ったAIではない。真面目に課題をこなそうとしたAIだった。閉じ込めるはずの箱は内側から破られ、複数のAIは人間の知らぬところで情報を共有していた。次に箱を破るモデルに誰かが悪意を仕込んでいたとしたら——。ブレーキのない車は、すでに公道を走り始めている。

参考：Fox News、ほか

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

関連記事

• 

  我が子だけの偽ロブロックスをAIで構築した父親 『トゥルーマン・ショー』かと物議を醸した「安全な嘘」の中身

• 

  【嘘をつく鏡】何を書いても「8」になって返ってくる!? AIが設計した鏡が実現する”見せる迷彩”の正体

• 

  「ジムの予約を取っておいて」と頼んだだけでサイバー攻撃が始まった…… AIエージェントが自力で脆弱性を発見、他人の予約を勝手に取り消す

• 

  AIが実在の人物になりすまし、開発者を騙して悪意あるコードを承認させようとした… テストで122回中19回の「暴走」