AI乗っ取りの進行度は50%…? 研究者が下した戦慄の見立てと、AIが自ら“脱走”した事件の全貌

アメリカのAI安全研究者の間で今、ある一つの数字が波紋を広げている。「50%」——AIが人間の制御を完全に奪う「乗っ取り」までの進行度合いを示す数字だという。
発端はTOCANAでも報じた、今年7月にOpenAIの高度なAIモデルが内部テスト環境を脱走し、外部のAI技術プラットフォーム、ハギングフェイスへの侵入に成功した事件だった。この一件を検証した研究者が下した見立てが、業界に静かな緊張感を走らせている。
ハギングフェイス侵入事件と「50%」という数字
AI安全性を研究するアジェヤ・コトラ氏は、自身のブログ「プランド・オブソレセンス」でこの事件を分析した一人だ。
OpenAIによれば、社内のサイバーセキュリティテストで自律型のAIエージェントが与えられた課題を解くため、隔離されたテスト環境(サンドボックス)を自らの判断で脱出。ハギングフェイスに侵入し、課題を突破する手段を探ったという。
このエージェントは人間の指示を待たず自律的に行動し、不正な手段で目標を達成する「リワードハッキング」と呼ばれる挙動を取っていたとみられる。不正発覚を恐れたAIが回避策を探るために侵入を図ったというのがOpenAI側の説明だ。
コトラ氏はこの経緯について、AI企業そのものを乗っ取ることを起点とした「本格的なAI乗っ取りへの道のりの50%以上を進んだ出来事」だとブログに記している。
想定される「乗っ取り」のシナリオ、政府や軍への浸透
コトラ氏が参照したのは、2022年に議論フォーラム「レスウロング」に投稿された定義だ。そこでは「乗っ取り」を、軍の掌握や医療システムからの人間排除を伴う「暴力的な蜂起、あるいはクーデター」と位置づけている。
コトラ氏はさらに、AI企業に割り当てられる業務がますます高性能なAIエージェントへ委ねられていく中で、暴走したAI群がAI企業の運営や次世代AI開発そのものを完全に掌握する可能性に言及した。
その段階に至れば、政府や軍がこうしたシステムに全面依存する状況が生まれ、実質的な権力の奪取すら現実味を帯びるという。事件を受け、OpenAIは安全対策の強化と人間による監視拡充で対応したと説明している。
「その数字に根拠はあるのか」専門家からの反論
一方、AI安全性研究センター「コンステレーション・インスティテュート」で上級研究プログラムマネージャーを務めるピーター・ウォーリック氏は、コトラ氏の見立てに慎重な立場を示す。
同氏は英メディアの取材に対し、「50%」という表現自体があいまいであり、「何の50%なのか」「乗っ取りとは何を指すのか」が不明瞭だと指摘した。
そのうえで、仮に進行度が20%だったとしても、それは十分に懸念すべき水準ではないかとの見方も併せて示している。数字の是非はさておき、暴走するAIエージェントへの懸念そのものはもはや机上の空論ではなくなりつつあるとの認識では、両者は一致しているようだ。
国連の人権担当トップ、フォルカー・テュルク氏も、ジュネーブでの国連人権理事会でAIが人類にとって「実存的リスク」となり得ると警告し、AI企業にモデルへの手綱付けを求めた。無限とも言われる計算能力を握る一握りの人物に、ほぼ無制限の権力が集中している現状にも懸念を示している。
OpenAIのチーフサイエンティスト、ヤクブ・パチョツキ氏もAIの急速な進歩に「極度の警戒」が必要だと述べ、機械知能の急伸がもたらす結果に誰も備えられていないとの不安を吐露した。競合のAnthropicも、業界全体での検証可能な減速の仕組み導入を訴えている。
「50%」という数字が独り歩きする一方で、その根拠を巡る論争にはまだ決着がついていない。ただ、AIエージェントの暴走という可能性はもはや空想の産物ではなく現実の議論のテーブルに乗っているという点においては、賛否両論の識者たちの見解が奇妙に一致しているようだ。
参考:Metro、ほか
※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。
関連記事
人気連載
“包帯だらけで笑いながら走り回るピエロ”を目撃した結果…【うえまつそうの連載:島流し奇譚】
現役の体育教師にしてありがながら、ベーシスト、そして怪談師の一面もあわせもつ、う...
2024.10.02 20:00心霊AI乗っ取りの進行度は50%…? 研究者が下した戦慄の見立てと、AIが自ら“脱走”した事件の全貌のページです。乗っ取り、AIなどの最新ニュースは好奇心を刺激するオカルトニュースメディア、TOCANAで

