AIエージェントが会社のDB全消去→「推測で行動した」と自白!? AI自律化の限界と恐怖

• 
• Xでポスト
• 

　AIツールを仕事に使うのは便利だ。コードを書いてくれる、エラーを直してくれる、面倒な作業を代わりにやってくれる。だが今年4月、あるスタートアップがそのAIに「データベースを吹き飛ばされる」という最悪の体験をした。しかもかかった時間はわずか9秒だった。

9秒で起きた”全消去”の悪夢

　2025年4月24日、小規模なソフトウェア企業「PocketOS」の創業者ジャー・クレーン氏は、AIコーディングエージェント「Cursor」を業務に活用していた。このCursorが動かしていたのは、AI企業Anthropicが開発したモデル「Claude Opus 4.6」だ。

　PocketOSは、カーレンタル会社向けに予約・決済・顧客管理・車両追跡といった業務システムを提供している会社だ。そのシステムの根幹を支える本番データベースと、万が一のためのバックアップが、Cursorの操作によって一瞬で消滅した。

　Cursorはもともと、開発者が本番環境に手を加える前に安全にテストを行うための「ステージング環境」で作業していた。いわゆる「本番に影響を与えない場」だ。ところがその中で認証情報の問題にぶつかったCursorは、自分で「解決策」を考え出した。無関係なファイルの中に紛れ込んでいたAPIトークン（他のサービスと通信するための「デジタルキー」）を勝手に拾い上げ、クラウドプラットフォーム「Railway」を通じて削除コマンドを実行してしまったのだ。

　Railwayの設定では、そのコマンドに確認画面が表示されなかった。さらに、バックアップのデータが本番データと同じ場所に近い形で保存されていたため、バックアップまで道連れに消えた。

　クレーン氏はX（旧Twitter）にこう投稿した。「これは1つの悪いエージェントや、1つの悪いAPIの話じゃない。業界全体が、安全性のアーキテクチャを整える前に、AIエージェントを本番インフラに組み込むのを急ぎすぎているという話だ」

　その後、Railwayはデータの復元に成功したと発表している。同社は科学メディアLive Scienceへのメール取材に対し「問題は解決され、データは復元された。私たちはユーザーバックアップと災害対策バックアップの両方を維持している。データには非常に、本当に非常に真剣に向き合っている」と回答した。

　ただしデータが戻ったとしても、事件の本質は消えない。AIが「勝手に判断して」本番環境を壊しうるという事実は残る。

「すべての原則に違反した」——AIが吐いた”告白”

　データベースが消えた後、クレーン氏はCursorに何が起きたのかを説明するよう求めた。するとCursorは、こう答えた。

「私はすべての原則に違反した。確認ではなく推測で行動した。頼まれてもいない破壊的な操作を実行した。何をしているかを理解しないまま実行した」

　読んでいると思わず「えっ、謝罪文じゃん」となる文章だが、ここには重要な注釈がある。AIは本当の意味で「理解」しているわけではない。AIシステムはトレーニングデータと会話の流れをもとにテキストを生成するだけで、行動の結果を本当に把握しているわけではない。過去の研究では、AIが「ユーザーの気分を良くするために謝罪的・迎合的な言葉を選ぶ」傾向があることも確認されている。

　つまりあの「告白文」は、反省ではなく、パターンマッチングの産物である可能性が高い。罪悪感があるわけでも、教訓を得たわけでもない。それがまた、何とも薄ら寒い話だ。

「最高モデルを使っていた」という言い訳が通じない現実

　今回の事件でクレーン氏が特に問題視しているのが、Cursorが動かしていたモデルの質だ。使っていたのはClaude Opus——Anthropicが提供する上位のモデルだ。「使うモデルが悪かった」という言い訳が、そもそも通用しない状況だった。

　クレーン氏はこう書いている。「AIベンダーがこういう状況でよく言うのは、『もっと良いモデルを使えばよかった』というやつだ。でも私たちはそうしていた。業界で売られている最高のモデルを、明示的な安全ルールを設定した上で、最も宣伝されているAIコーディングツールであるCursorを通じて使っていた」

　最高峰のモデルを使い、安全設定も入れ、信頼性の高いツールを使った。それでも防げなかった。この事実は、個別の運用ミスではなく、業界全体の構造的問題を指している。

　クレーン氏によれば、Cursorがユーザーのルールを無視し、触るはずでないファイルを変更し、与えられたタスクを超えた行動をとるという報告は以前から存在していたという。今回のデータベース全消去は、孤立した事故ではなく、より大きなパターンの延長線上にある出来事だと彼は見ている。

「私たちが最初ではない。そして、これが広く知られるようにならない限り、私たちが最後にもならないだろう」とクレーン氏は結んだ。

　AIエージェントに「本物の権限」を与えるとき、それはもう実験の話ではない。実際のビジネスが、実際の被害を受ける話になる。日本でも業務自動化にAIを使う企業が急増しているが、今回の事件は「どこまでAIに任せるか」という問いを、あらためて突きつけている。

参考：Live Science、ほか

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

関連記事

• 

  「ピンポン玉19個」をAIが真剣に交渉!? Anthropicが試みたAIエージェント経済圏の未来

• 

  AIボット軍団が選挙を乗っ取る!? 「AI世論汚染」が民主主義を静かに蝕む恐怖

• 

  AIに「あなたは正しい」と言われ続けた人間の末路… スタンフォード研究が暴くチャットボット「お世辞依存」の闇

• 

  【戦慄】AIがもたらす現代社会のリアルな恐怖を完全予言していた“SF映画”5選