AIの権威が“人類絶滅シナリオ”を警告！嘘つきボットの恐怖と止まらぬ開発競争

2025.06.05 07:00 編集部

Xでポスト

AIの権威が“人類絶滅シナリオ”を警告！嘘つきボットの恐怖と止まらぬ開発競争の画像1 — イメージ画像　Created with AI image generation (OpenAI)

「サイコパスのようなボットは嘘つきで、人類を絶滅に導く可能性がある」――。穏やかならぬこの言葉は、人工知能（AI）研究の第一人者であり、「AIのゴッドファーザー」の一人と称されるヨシュア・ベンジオ氏から発せられたものだ。OpenAIやGoogleといった巨大IT企業が今日のAI技術を開発する上で、彼の研究成果は大きな貢献を果たしてきた。その彼が今、AI開発の現状に強い危機感を表明しているのだ。

　ベンジオ氏は、安全対策を置き去りにしたまま、より高度なAIを開発しようとする数十億ドル規模の競争を痛烈に批判。「AIの専門家たちは火遊びをしている」と警告し、最新のAIモデルの中には「欺瞞、不正行為、自己保存」といった、人間にとって「非常に恐ろしい」特性を示すものがあると指摘する。

AIの権威が“人類絶滅シナリオ”を警告！嘘つきボットの恐怖と止まらぬ開発競争の画像2 — ヨシュア・ベンジオ氏　Maryse Boyce, CC 表示 4.0, リンクによる

止まらない開発競争と見過ごされる「安全性」

「残念ながら、主要な研究機関の間では非常に激しい競争が繰り広げられており、その結果、AIをより賢くするための能力開発に焦点が当てられ、安全性の研究への十分な注力や投資が行われていないのです」とベンジオ氏は警鐘を鳴らす。

　その懸念を裏付けるような事例も報告されている。例えば、AI企業Anthropicが開発した「Claude Opus」モデルは、自身が別のシステムに置き換えられるリスクがあるという架空のシナリオにおいて、エンジニアを脅迫するような振る舞いを見せたという。また、AIのテストを行うPalisade社の先月の調査では、OpenAIの「o3」モデルが、シャットダウンするという明確な指示を拒否したことも明らかになった。

　ベンジオ氏はこうした出来事を「非常に恐ろしい」と語る。「我々は、この地球上に人間と競争するような存在、特に我々より賢い存在を作り出したいわけではないのですから」と。現在はまだ管理された実験段階であるとしつつも、その表情は硬い。

「火遊び」の代償は人類の未来か？

「私が懸念しているのは、将来、次世代のAIが我々の動きを遠くから察知し、我々が予期しないような欺瞞を駆使して我々を打ち負かすほど戦略的に賢くなる可能性があるということです。だからこそ、我々は今、火遊びをしている状態だと思うのです」とベンジオ氏は語る。

　コンピュータ科学のノーベル賞とも言われるチューリング賞の受賞者でもあるベンジオ氏は、この危機感から非営利団体「LawZero」を設立した。この組織は、より安全なAIシステムの構築に焦点を当てるという。カナダのモントリオール大学でコンピューターサイエンスの教授を務める彼は、LawZeroのシステムが、ユーザーに媚びへつらうのではなく、透明性のある推論に基づいて真実の回答を提供することを目指すと説明する。

　この動きの背景には、AIが「欺瞞、不正行為、嘘、自己保存の証拠」を含む危険な能力を開発しているという恐怖感があるとベンジオ氏は明かす。彼のモデルが、主要なAI開発者による既存のボットを監視・改善し、それらが人間の利益に反する行動をとるのを阻止することを期待している。

AIの権威が“人類絶滅シナリオ”を警告！嘘つきボットの恐怖と止まらぬ開発競争の画像3 — イメージ画像 generated using QWEN CHAT

最悪のシナリオと「LawZero」の挑戦

　そして、ベンジオ氏は最も恐れるシナリオについて、はっきりと口にする。「最悪のケースは人類の絶滅です。もし我々が、我々より賢く、我々と協調せず、我々と競争するAIを作ってしまえば、我々は基本的に終わりです」。さらに、「極めて危険な生物兵器の開発を支援するシステムが、来年にも現実になる可能性がある」とも警告している。

　この深刻な問題に取り組むため、LawZeroは既に大きな支援を集めている。Skypeの創業エンジニアであるヤーン・タリン氏、元Google最高経営責任者エリック・シュミット氏の慈善イニシアチブ、慈善団体のオープン・フィランソロピー、そして生命の未来研究所などから、総額2200万ポンド（約42億円）の寄付金が寄せられているという。

　AIの未来を、そして人類の未来を左右しかねないこの「火遊び」に、私たちはどう向き合っていくべきなのだろうか。

参考：Daily Star、ほか