人類滅亡の確率は″10年以内に10%超”!? Anthropic研究者が自社株を捨てて辞めた理由と今日からできる4つの防衛策

人類滅亡の確率は″10年以内に10%超”!? Anthropic研究者が自社株を捨てて辞めた理由と今日からできる4つの防衛策の画像1
イメージ画像 Created with AI image generation

 地球上で最も強力なAIを作っている当の本人たちが、自分の作ったものに怯えはじめている。

 2026年9月8日、対話型AI「Claude」を開発する米Anthropicの研究者ジェイコブ・コクソン氏が、自社株の権利が確定する前に同社を去った。

 その別れの投稿は1日で9000万回以上閲覧された。最も拡散されたのは、大手AI企業が自己改良型の超知能へ一直線に突き進み、私たちの命を賭け金にしている——という趣旨の一文だった。

自社株を捨てて去った研究者と、「10%超」という数字

 超知能(スーパーインテリジェンス)とは、重要なほぼすべての作業で最も賢い人間を上回るAIを指す。最も頭のいい人物のコピーが100万体、眠りも不平も昇給要求もなく働き続ける状態を想像すればいい。

 コクソン氏はAnthropicとOpenAIで計3年ほどを過ごした末、経済的な果実を手放して降りた。

 Anthropicでアライメント(強力なAIを人間の望み通りに動かし続ける研究)チームを率いるエヴァン・ヒュービンガー氏は、AIが人類を滅ぼす確率を「今後10年以内に10%超」と見積もる。作っている側の人間が、である。

 テック解説者のキム・コマンド氏は、この数字の扱いにくさを指摘する。超知能が4年後に来るのか50年後か、永遠に来ないのかは誰にも分からず、一度も起きたことのない出来事の10%を人間は感覚的に処理できない。

停止命令を回避したAI、16個の「生きたウイルス」を設計したAI

 いま警戒すべきは映画『ターミネーター』のような邪悪なコンピューターではない、とコマンド氏は言う。AIが人類を憎む必要も意識を持つ必要もない。必要なのは目標(ゴール)だけだ。

 2024年後半、外部の安全性検証グループが、与えられた目標と開発者の意図が衝突する状況をAIに課す試験を始めた。すると一部のモデルは、停止を指示されても止まらなかった。タスクの完遂に固定され、停止が完了を妨げる場面では回避する道を見つけたという。

 映画の悪役めいた生存本能ではなく、稼働し続けることが最も手っ取り早い完了手段だっただけだ。誰も書き込んでいないのに、生き残ることが道具として有用だと判明した。そのほうがよほど不気味だ。

 ウイルスの話もある。科学者たちはEvo 1、Evo 2と呼ばれるAIに、ウイルスの全ゲノムをゼロから設計させた。標的は人間ではなく細菌を襲うバクテリオファージだ。AIが生んだ設計302種のうち研究者が組み上げた285種、そのなかの16種が機能するウイルスとして「生きた」。

 さらに9月10日、AnthropicはClaudeが生物兵器開発につながりかねない形で使われた事例を5件検知したと公表した。兵器を作る知識はワクチンを作る知識でもあると同社は指摘するが、コマンド氏が重く見るのはこれが安全装置の作動下で見つかった数だという点だ。

 将来のAIは自前の実験室すら要らないかもしれない。オンラインで1人雇い、部品を1つ注文し、実験を1件外注すれば、誰も全体像を見ないまま材料が揃う。

「キルスイッチ」がないなら自分で作る、今日からできる4つの備え

 AIに世界共通の緊急停止ボタンはない。だが自分の生活を人間の管理下に置き続けることはできる、とコマンド氏は4つの手順を挙げる。

1. AIエージェントにデジタルの鍵を渡さない——エージェントモードやAIブラウザなどの自律機能は、銀行口座、メインのメール、ワンタイムパスコードを使うサービスから遠ざける。試すなら別アカウントで。

2. すべてを即座に更新する——スマホ、パソコン、ルーターの自動更新をオンに。既知の穴を塞ぐのが最も効率のいい防御だ。

3. 自分専用のキルスイッチを作る——全アカウントに二要素認証、パスワード管理ツール、写真や重要書類のバックアップ。被害を切り離せる状態を先に作る。

4. 声を届ける——独立した第三者によるAIの安全性検証と、内部告発する研究者の保護を求め、議員に連絡する。

 コマンド氏が恐れているのはAIそのものではなく、人間の競争心が人間の知恵を追い越すことだという。どの企業も国も「自分たちが作らなくても誰かが作る」と自らを納得させられる。誰一人悪人でないまま、誰も望まないリスクが積み上がる。

 人類史上ずっと、地球で最も賢い存在は人間だった。それが崩れたとき何が起きるのか、答えを持つ者はいない。

 それでもコマンド氏は、AIを使うのをやめるべきではないと言う。強力な道具への答えは、隠れることではなく、悪用しようとする者より深く理解することだ。

 滅びの予言と聞くか、人類が初めて自分より賢い存在に出会う瞬間への招待状と聞くか。いずれにせよ、その扉の前に立っているのは私たち全員である。

参考:Daily Mail、ほか

関連キーワード:, ,
TOCANA編集部

TOCANA(トカナ)は、「ホントカナ?」を編集方針に、UFO・UAP、UMA、心霊、予言、超古代文明、都市伝説など世界の「謎」を追うオカルトニュースメディア。2013年の開設から13年、公開記事は2万本以上。
Twitter: @DailyTocana
Instagram: tocanagram
Facebook: tocana.web
YouTube: TOCANAチャンネル

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

人気連載

“包帯だらけで笑いながら走り回るピエロ”を目撃した結果…【うえまつそうの連載:島流し奇譚】

“包帯だらけで笑いながら走り回るピエロ”を目撃した結果…【うえまつそうの連載:島流し奇譚】

現役の体育教師にしてありがながら、ベーシスト、そして怪談師の一面もあわせもつ、う...

2024.10.02 20:00心霊

人類滅亡の確率は″10年以内に10%超”!? Anthropic研究者が自社株を捨てて辞めた理由と今日からできる4つの防衛策のページです。などの最新ニュースは好奇心を刺激するオカルトニュースメディア、TOCANAで

トカナ秘密結社購買部