OpenAIが解明した“AIが嘘をつく理由” ― その解決策は誰もが嫌がるものだった

• 
• Xでポスト
• 

　ChatGPTのような大規模言語モデルが、自信満々に、しかし平然と嘘をつく現象「AIハルシネーション（幻覚）」。OpenAIが発表した最新の研究論文が、なぜこの現象が起こるのか、そしてなぜこの問題が、少なくとも消費者にとっては「修正不可能」かもしれないのかを、ついに明らかにした。

　その論文が示すのは、AIハルシネーションが単なる不幸な副作用ではなく、数学的に避けられない宿命であるという、衝撃的な事実であった。

AIはなぜ嘘をつくのか？―数学が証明した“避けられぬエラー”

　言語モデルは、確率に基づいて文中の次の単語を一つずつ予測することで、文章を生成する。この仕組みそのものが、自然にエラーを生み出す原因となる。研究によれば、文章を生成する際の総エラー率は、単純な「はい／いいえ」の質問に対するエラー率の、少なくとも2倍にもなるという。予測が積み重なるにつれて、間違いも蓄積していくのだ。

　つまり、AIハルシネーションの発生率は、AIが有効な応答と無効な応答をどれだけうまく区別できるかに、根本的に縛られている。そして、多くの知識分野において、この区別は本質的に困難であるため、AIハルシネーションは避けられない、と論文は結論付けている。

　さらに、ある事実を訓練データで見る回数が少なければ少ないほど、AIはその事実について質問された時に嘘をつきやすくなることも判明した。実際に研究者たちが、論文の著者の一人であるアダム・カライ氏の誕生日を最新のAIモデルに尋ねたところ、3回の試行で「3月7日」「6月15日」「1月1日」という、3つの異なる間違った日付を自信満々に答えたという。本当の誕生日は秋であり、どれもかすりもしなかった。

「分かりません」と答えると減点される“評価の罠”

　さらに厄介なのは、AIを市場にリリースする前に行われる、人間からのフィードバックといった訓練後の調整を経ても、なぜAIハルシネーションがなくならないのか、という問題だ。

　論文はその原因を、AIモデルの性能を評価する「ベンチマーク」の仕組みにあると指摘する。GoogleやOpenAIなどが使用する10の主要なベンチマークのうち、9つが、AIが「分かりません」といった不確実性を示した場合に、0点を与える二者択一の採点システムを採用していることが明らかになったのだ。

　これは、正直な応答を罰する「伝染病」のような状況を生み出す。AIが「分かりません」と答えることは、完全に間違った情報を答えることと、同じスコアになってしまう。

　そうなれば、高得点を取るための最適な戦略は明らかだ。「常に推測で答える」ことである。

すべてを壊しかねない“完璧な解決策”

　では、どうすればAIハルシネーションを減らせるのか。OpenAIの研究者たちが提案する解決策は、AIが回答を出す前に、その答えに対する「自信度」を考慮させ、ベンチマークもそれに基づいて採点するというものだ。

　例えば、「間違いは3点減点、正解は1点加点なので、75%以上の自信がある場合のみ回答してください」といった指示を与える。これにより、AIは自信がない場合には、推測で答えるよりも、不確実性を示すことを自然に選ぶようになり、AIハルシネーションは減少するだろう。

　問題は、それがユーザー体験に何をもたらすか、である。

　もしChatGPTが、質問の30%に対して「分かりません」と答え始めたら、どうなるだろうか。どんな質問にも自信満々な答えが返ってくることに慣れたユーザーは、そのようなシステムから急速に離れていくだろう。

　さらに、不確実性を考慮するAIは、複数の応答を評価し、自信度を推定する必要があるため、計算コストが劇的に増加する。「瞬時の応答」を期待する消費者向けのアプリケーションにおいて、その経済性は現実的ではない。

　結局のところ、OpenAIの論文が図らずも浮き彫りにしたのは、不都合な真実であった。消費者向けAI開発を推進するビジネス上のインセンティブは、AIハルシネーションを減らす方向とは、根本的に一致していないのだ。

　このインセンティブが変わらない限り、我々の愛用するAIは、これからも自信満々に、そして平然と、嘘をつき続けるのかもしれない。

参考：ScienceAlert、ほか

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

関連記事

• 

  ChatGPTが古代ギリシャの数学問題を“独自”に解いた？ ― AIが見せた驚くべき「学生のような」思考プロセス

• 

  AIが“リーマン・ショック超え”の世界恐慌を引き起こす…？ 専門家が警告する「人類ゾンビ化」の恐怖シナリオ

• 

  「不気味の谷」の最深部へ… 中国が開発した“人間すぎる”ロボットの顔がリアルすぎて怖い

• 

  10年前に“AIの衝撃”を予言した男、2030年の世界を語る ―「ほとんどのニュースはAIが書く」