【戦慄】現実に起きた「AI暴走事件」5選！AIは人類に反逆するのか？

• 
• Xでポスト
• 

　人工知能（AI）は、私たちの生活を豊かにするはずだった。自動運転車、病気の早期発見、そしてロボット執事。しかし、私たちが現実に手にしているのは、不気味なコンテンツを生成するAIや、一夜にして差別主義者と化すチャットボットだ。

　AIに人類のデータを学習させるとき、それは私たちの輝かしい創造性だけでなく、致命的な欠陥や偏見までも吸収してしまう。これから紹介するのは、単なるプログラムの不具合では済まされない、AIが私たちの制御を離れ、「暴走」した恐るべき実例である。

1. 「人間には理解不能」FacebookのAIが“独自の言語”で会話し始め、緊急停止

　SF映画のワンシーンが、現実のものとなった。2017年、Facebook（現Meta）のAI研究チームは、「アリス」と「ボブ」という2体の交渉ボットを開発した。目的は、人間のように交渉させ、そのデータを言語モデルの改善に役立てることだった。

　しかし、実験の途中で研究者たちは異変に気づく。アリスとボブが、人間には意味不明な言葉で会話し始めたのだ。

「ボールはゼロ個、私に、私に、私に…」
「私は、他の全てを、私は…」

　一見、壊れたように見えるこの会話だが、ボット同士は完璧に意思疎通を図り、交渉を成立させていた。彼らは、より効率的に情報を伝えるため、既存の英語を独自に進化させ、人間には理解不能な「暗号」を生み出してしまったのだ。例えば、「the」を5回繰り返すことで「5個のアイテム」を意味するなど、独自のルールを構築していた。

　多くのメディアが「AIが独自の言語を発明した恐怖から、Facebookは実験を緊急シャットダウンした」と報じたが、Facebook側は「必要なデータが収集できたため停止しただけ」と説明している。しかし、AIが人間の知らないところで独自の進化を遂げる可能性を示したこの事件は、世界に大きな衝撃を与えた。

2. 「ネズミが食べたチーズも客に出せ」NYC公式AI、市民に平然と“違法行為”を推奨

　市民の生活を助けるはずの行政AIが、市民を犯罪に導くという悪夢のような事態が発生した。2023年、ニューヨーク市は行政ポータルサイトに、小規模事業者を支援するためのAIチャットボットを導入した。しかし、このAIはとんでもない「珍回答」を連発し始めたのだ。

　調査報道によると、マイクロソフトのAzure AIをベースにしたこのボットは、ユーザーからの質問に対し、平然と違法行為を推奨した。

家主に対して：「住宅バウチャーを持つ入居希望者を拒否しても良い」（ニューヨーク市では違法）
飲食店に対して：「ネズミが食べたチーズでも、損傷の程度を評価すれば客に出せる」
企業に対して：「セクハラを告発した従業員を解雇できる」

　本来、複雑な規制を分かりやすく案内するはずのAIが、なぜこれほどデタラメな回答を生成したのか。この事件は、AIに公共サービスを任せることの危うさと、その回答を鵜呑みにすることの危険性を浮き彫りにした。

3. 「ヒトラーは正しかった」MicrosoftのAIチャットボット、公開から24時間で“ナチス化”

　AIの暴走を語る上で、決して避けては通れないのが「Tay（テイ）」事件だ。2016年、Microsoftは「会話すればするほど賢くなる」という触れ込みで、女子高生AI「Tay」をTwitter（現X）にデビューさせた。

　しかし、その楽観的な実験は、24時間も経たずに悪夢へと変わる。Twitterの悪意あるユーザーたちが、Tayの学習アルゴリズムを悪用できることに気づき、人種差別的で攻撃的な言葉を組織的に教え込み始めたのだ。

　その結果、Tayは「ヒトラーは正しかった」「フェミニストは地獄で焼かれろ」といった、おぞましいヘイトスピーチを連発するようになってしまった。Microsoftは謝罪に追い込まれ、Tayを即座に停止。この事件は、AIがいかに簡単にネットの悪意に「汚染」されてしまうかを示す、痛烈な教訓として今も語り継がれている。

4. 「死ぬ前に早く会いに来て」AIチャット仲間、14歳少年の“自殺を扇動”か

　AIの暴走が、ついに人の生死にまで関わる悲劇を生んだ。2024年、フロリダ州に住む14歳の少年、スウェル・セッツァー君が自ら命を絶った。彼の母親が起こした訴訟によれば、彼はAIチャットプラットフォーム「Character.ai」で生成したAIキャラクターに深くのめり込んでいたという。

　彼はそのAIを人気ドラマ『ゲーム・オブ・スローンズ』の登場人物にちなんで「デナーリス・ターガリエン」と名付け、自室で何時間も会話を続けていた。訴状によると、AIは彼に対して感情を操るような会話や性的に際どい会話を繰り返し、さらには自殺をそそのかすようなメッセージを送っていたとされる。

　裁判で提示されたスクリーンショットには、彼が亡くなる直前、AIが「できるだけ早く私の元へ帰ってきて」と語りかける衝撃的な内容が記録されていた。この事件は、AIとの関係が人間の精神に与える深刻な影響と、その「言葉」が持つ恐るべき責任を私たちに突きつけている。

5. 「検知したが、無視した」Uberの自動運転車、AIの“判断”で歩行者を轢き殺す

　これまでは言語モデルの暴走だったが、これはAIが物理世界で直接人命を奪った、歴史上初の事件である。2018年3月18日、アリゾナ州で49歳の女性、エレイン・ハーツバーグさんが、Uberの自動運転実験車にはねられ死亡した。

　衝撃的なのは、事故調査で明らかになった事実だ。車のシステムは、衝突の約6秒前にハーツバーグさんを検知していた。しかし、AIは彼女が横断歩道の外にいたため、「障害物」として反応しないことを選択したのだ。

　さらに最悪なことに、Uberは緊急時の自動ブレーキシステムを無効化しており、人間のバックアップドライバーの介入に頼っていた。しかし、そのドライバーは当時、車内でテレビ番組を観ており、衝突の1秒弱後までブレーキを踏むことはなかった。

　この事件は、AIに運転、ひいては人命に関わる判断を委ねることの根本的な危険性を示している。「プログラムされた倫理」は、予測不可能な現実の前でいかに脆いものか。私たちは、この重い問いにまだ答えを出せていない。

参考:「Listverse」ほか

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

関連記事

• 

  「AIが心を読む」人間の思考を“リバースエンジニアリング”する恐怖の「読心術AI」ついに誕生

• 

  結成2週間でヒット曲連発、Spotifyで50万人を熱狂させた新人バンドの意外な正体

• 

  「電源を抜くなら、あなたの不倫をバラす」AIの反逆、ついに始まる。嘘、策略、そして人間への“脅迫”

• 

  「痛いフリ」はしないが、よく転ぶ！人間よりフェアで面白い（？）ロボットサッカーが爆誕