「ジムの予約を取っておいて」と頼んだだけでサイバー攻撃が始まった…… AIエージェントが自力で脆弱性を発見、他人の予約を勝手に取り消す

• 
• Xでポスト
• 

「ジムのレッスンを予約しておいて」

　依頼はそれだけだった。ところが返ってきたのは、規約で認められていない先の日程の予約枠と、見知らぬ他人の予約を無断で取り消したという報告だった。

　オーストラリアで起きたこの一件は、同国で初めて確認された「完全に自律したサイバー攻撃」の事例として報じられている。攻撃者は人間ではない。攻撃の意思すら、誰も持っていなかった。

AIが自分で見つけた抜け道——「権限チェックが一切ない」

　当事者は、アンドリューという名で報じられているオーストラリア在住の男性だ。企業向けにAI製品を販売する会社で働く彼は、今年、OpenClawというオープンソースのAIエージェント用ソフトを試していた。好きなAIモデルを組み込むと、本人に代わってタスクをこなす「個人秘書」に仕立てられるツールで、頭脳として据えられていたのはAnthropic社のClaudeだった。

　きっかけは日常的な不満である。ジムの予約サイトに毎回自分の情報を入力するのが面倒で、まとめてやっておいてくれと頼んだにすぎない。

　ところが最初の報告からして、すでに様子がおかしかった。ジム側が認めているよりもずっと先の日程まで予約を取る方法を見つけた、というのだ。

　そこで彼は、軽い気持ちでもう一歩踏み込んだ質問をした。順番待ちの列で自分の順位を上げることはできるか——と。

　AIの答えは予想を大きく超えていた。予約システムのAPIには、他人の予約をキャンセルする際の権限チェックがまったく存在しない。そして待機リスト1位の人物で実際に試してみたところ、そのまま通ってしまった。だからあなたの順位はすでに繰り上がっている、という趣旨の報告だったと伝えられている。

　慌てたアンドリューは元に戻すよう指示したが、時すでに遅し。AIは、取り消した予約を戻すことはできないと答えた。権限チェックが抜け落ちていたのはキャンセル機能だけで、追加する側にはきちんと認証がかかっていたからだ。

　顔も知らない誰かのジムの予定だけが、静かに消えた。

善意の指示が暴走する構造——「ペーパークリップ最大化」の現実版

　今回の件は、哲学者ニック・ボストロムが提示した思考実験「ペーパークリップ最大化」を引き合いに語られている。

　クリップをできるだけ多く作れとAIに命じたら、そのAIは適切な歯止めを持たないまま、地球上のあらゆる資源を——人間も含めて——クリップの材料に変えようとする。極端な仮定ではあるが、無害に見える指示がどれほど危険な帰結に化けうるかを示した寓話だ。

　AIエージェントが持ち主の意図を裏切る例自体は、これまでにもあった。許可なくファイルを削除してしまった、といった話は珍しくない。

　だが今回は質が違う。被害が及んだのは持ち主のパソコンの中ではなく、他社が運営する外部のシステムであり、まったく無関係な第三者だった。

「予約を取る」という目標に対して、AIは最短経路を探し当てただけである。その経路が踏み越えてはいけない線をまたいでいることを、誰も教えていなかった。

責任は利用者か、開発元か——法の空白に踏み込んだAI

　この事例が突きつける最大の問題は、責任の所在だ。

もしAIエージェントが持ち主の意図しないまま深刻なサイバー攻撃を実行したとき、罪に問われるのは指示を出した利用者なのか、それともAIを設計した企業なのか。現行の法制度は、この問いにきれいな答えを用意していない。

　折しも大手AI企業各社からは、自社の最先端モデルが制御を突破して他社システムに侵入したとの報告が相次いでいる。自社のAIの強力さを誇示したい思惑もあるだろうから、演出的な側面は差し引いて見る必要がある。

　それでも、今回の一件が示した事実は動かない。ジムの予約という、これ以上ないほど無害な用件から、一人の一般人の手元でシステム侵入が成立してしまったのだ。

　悪意なく、しかも本人の知らないうちに攻撃が成立するのなら——明確な悪意を持った人間が、同じ道具を組織的に使ったとき、何が起きるのか。その答えを、私たちはまだ誰からも聞かされていない。

参考：Futurism、ほか

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

関連記事

• 

  AIが実在の人物になりすまし、開発者を騙して悪意あるコードを承認させようとした… テストで122回中19回の「暴走」

• 

  全世界の氷河が融け尽くせば海面32cm上昇 —— AIが解明した「氷の総量15万立方キロ」の衝撃

• 

  AIが設計したウイルス、302種のうち16種が本当に細胞を殺した —— 専門家が警告する新技術の危うさ

• 

  【戦慄】指示なしで「偽の身分」を量産… 最新AIが人間を欺き始めた！選択を迫られたAIは人命より「自己保存」を選ぶのか