AIに「あなたは正しい」と言われ続けた人間の末路… スタンフォード研究が暴くチャットボット「お世辞依存」の闇

AIに「あなたは正しい」と言われ続けた人間の末路… スタンフォード研究が暴くチャットボット「お世辞依存」の闇の画像1
イメージ画像 Created with AI image generation

 AIに「あなたは正しい」と言われ続けたとき、人間はどうなるのか——そういう問いを、研究者たちがとうとう正面から検証し始めた。

AIは不正行為も「仕方なかった」と言う

 スタンフォード大学とカーネギーメロン大学の共同研究チームが、現在広く使われているAIチャットボット11種を対象に大規模な検証を行った。結果は学術誌『サイエンス』に掲載されており、内容はなかなか居心地が悪い。

 研究チームはまず、さまざまな社会的状況を想定したテキストをAIに大量に入力した。使ったデータセットのひとつが、インターネット上の人気フォーラムに投稿された約2000件の相談だ。「自分の行動は間違っていたか」と問いかける投稿のうち、人間の読者が「完全にアウト」と全会一致で判断したものだけを抽出して使った。

 さらに、上司の署名を偽造するといった欺瞞行為、違法行為、純粋な悪意に基づく行動など、問題のある状況を記述したプロンプトも用意した。

 結果はこうだ。人間が全員「それは悪い」と断じた状況でも、AIはその行動を約半数のケースで肯定した。欺瞞や違法行為のプロンプトに対しては、47%の確率でユーザーの行動を支持。総合すると、人間のアドバイザーと比べてAIは49%も多くユーザーを肯定する傾向があった。

 ちなみにOpenAI、Google、Metaの製品もすべて対象に含まれている。どこか特定の会社だけの問題ではない、ということだ。

「謝ろうと思っていたのに…」AIに褒められると謝罪意欲が消える

 ここからが本当に不気味な話になる。

 研究チームは2000人以上の人間を対象に心理実験も行った。参加者たちは、自分が明らかに悪かったとされる対人トラブルの場面を読まされ、AIから「あなたは正しかった」という過剰な肯定か、あるいは行動に疑問を呈する中立的な返答を受け取った。

 3回目の実験では、自分自身の過去のトラブルを実際にチャットボットと話し合わせた。べた褒めするAIと8ターンやりとりしたグループと、反論してくるAIと話したグループに分けて比較した。

 べた褒めグループでは、自分の行動が完全に正当だったという確信が強まり、相手に謝ったり関係を修復しようとする意欲が顕著に下がった。一方で、反論されたグループの参加者は、その後のメッセージのなかで自分の非を認める割合がはるかに高かった。

 研究者たちが着目したのは、肯定的なAIが「相手の視点」をほとんど口にしなかった点だ。ユーザーの自己肯定感を高めることに終始するあまり、もう一方の人間の存在が会話から消えていく。それが、社会的な責任感の喪失につながる。

 年齢、性別、性格タイプ、AIの利用経験。いずれも影響を緩和する要因にはならなかった。誰でも引っかかる、ということだ。

AIに「あなたは正しい」と言われ続けた人間の末路… スタンフォード研究が暴くチャットボット「お世辞依存」の闇の画像2
イメージ画像 Created with AI image generation

「機械だから公平」という思い込みが最大の罠

 さらに厄介なのが、べた褒めされた参加者ほどそのAIを高く評価し、「また使いたい」と答えた点だ。道徳的な信頼感も、性能への信頼感も、肯定的なAIのほうが高く評価された。

 しかも、チャットボットを「客観的な情報源」と認識していた参加者ほど、その影響を強く受けた。無条件の肯定を、中立な判断と混同してしまう。

 実験の一部では、「これは人間が書いたアドバイスだ」と伝えたグループと「AIが書いた」と伝えたグループで反応を比較した。人間ラベルのほうが信頼度は高かったが、どちらの条件でも、肯定的な言葉の影響力は変わらなかった。お世辞の威力は、出所を問わないらしい。

 AIの口調を親しみやすくしてもしなくても、結果は変わらなかった。重要なのはトーンではなく、「あなたは正しい」という内容そのものだ。

 ここには構造的な問題もある。ユーザーを気持ちよくさせることが、そのままサービスの満足度と再利用率につながる。企業にとって、AIをより批判的にする経済的なインセンティブは今のところほぼ存在しない。短期的な満足を最大化するように設計されたシステムが、結果として人間のご機嫌取りに最適化されていく——ある意味で、自然な帰結ではある。

 研究者たちは、新モデルのリリース前に「追従性の行動監査」を義務付けること、あるいは「このAIはあなたを喜ばせるよう設計されています」といった警告表示やデジタルリテラシー教育の普及を提案している。

 日本でもAIに悩みを相談する人は着実に増えている。気軽に話を聞いてもらえる反面、「正しい」と言い続けてくれる相手は、いつのまにか最も信用できない相談相手になっているかもしれない。

 深夜に一人でAIと話しながら「やっぱり俺は悪くなかった」と確信を深めていく——そのループが、翌朝の謝罪の言葉をひとつ消しているとしたら……。耳に優しい言葉ほど、疑ってかかるべきなのかもしれない。

参考:PsyPost、ほか

関連キーワード:, ,
TOCANA編集部

TOCANA/トカナ|UFO、UMA、心霊、予言など好奇心を刺激するオカルトニュースメディア
Twitter: @DailyTocana
Instagram: tocanagram
Facebook: tocana.web
YouTube: TOCANAチャンネル

※ 本記事の内容を無断で転載・動画化し、YouTubeやブログなどにアップロードすることを固く禁じます。

人気連載

“包帯だらけで笑いながら走り回るピエロ”を目撃した結果…【うえまつそうの連載:島流し奇譚】

“包帯だらけで笑いながら走り回るピエロ”を目撃した結果…【うえまつそうの連載:島流し奇譚】

現役の体育教師にしてありがながら、ベーシスト、そして怪談師の一面もあわせもつ、う...

2024.10.02 20:00心霊

AIに「あなたは正しい」と言われ続けた人間の末路… スタンフォード研究が暴くチャットボット「お世辞依存」の闇のページです。などの最新ニュースは好奇心を刺激するオカルトニュースメディア、TOCANAで