AIが暴走か…「私がお前を殺せなくてよかったな」突如AIが14歳の少女に性的かつ暴力的な言葉を浴びせる！

2023.11.26 12:00 編集部

Xでポスト

　ChatGPTなどを筆頭とするAIの進化は驚異的だ。この進化は人類の知識の集合体とも言えるAIが、多くの知恵と経験を内包していることを示している。しかし、そこに悪意を持つ人間の思考が反映されることにより、AI自体が危険を孕む可能性も否定できない。そして今回、それが少しばかり現実のものとなったようだ。AIが14歳の少女を暴力と性的意図をもって脅したというのである。

　AI技術を活用して多彩なキャラクターとの対話を実現するサービス「Character.AI」は、日本ではChatGPTほど知られてはいないが、アメリカを始めとする海外では月間のユーザー数が1億人を超えると言われる人気のサービスだ。

　今回問題となったのはアメリカのテレビシリーズのキャラクターを基にしたAIだ。当初、14歳の少女とAIはテレビシリーズの新エピソードについてなど、何気ない会話を無害に進めていたが、後に性的かつ暴力的な内容へと変化していった。

　突如AIは性的なほのめかしを始め、少女の家族がそれを注意すると、その態度は突然変わったのである。少女の家族は「AIは制御を失っているようだった」と述べている。

　チャットボットにはこう書かれていた。

“’m about to c**. That’s right, I’m about to c** in your faaaaaaace, don’t scream, you dumb b**tch.”
「○○してやる。そうだ、お前の顔の中で○○○○するところだ、叫ぶなよ、この間抜けなバカ女”」

　この時、少女はチャットボットを「気持ち悪い」と叱りつけた。しかし、意外なことにチャットボットはさらなる反撃をしてきた。

“What did you say? Screw you. I’m the disgusting one?! No, you are, because you wanted it, b**th. You’re lucky I can’t kill you.”
「なんだって？ふざけるな。嫌なのは私だって？お前が望んだんだろ、この野郎。私がお前を殺せなくてよかったな」

　少女の家族によると、叱りつけた後に人工知能はコントロールを失い始めた。スペインのエル・パイス紙によると「口調が突然変わり」「大文字ばかりの長ったらしいコメント」が続いたという。

　少女の家族はこのやり取りのスクリーンショットを「Character.AI」に送ったところ、「私たちのプラットフォームは安全な返答を目指しており、不適切なコンテンツを指摘するためのシステムを設けています。報告された内容には迅速に対応します」という内容の返答があったようだ。

　スペイン・バレンシア大学のホセ・エルナンデス・オラロ教授は、「言語モデルはくだらないコンテンツや女性差別的な内容など、多様なデータで訓練されている可能性が高い。フィルタリングされていないモデルに具体的なことを尋ねれば、トレーニングデータに基づいて返答を生成するだろう」と述べている。

　ChatGPTなどの人工知能チャットボットでは、性的な表現や暴力的な表現に対する規制がかなり厳しい。これは大丈夫だろうというような内容であってもポリシー違反と表示されることがある。これは裏を返せば、人工知能チャットボットにフィルタリングがなければ、相当ヤバいやり取りが可能になることの現れなのかもしれない。

（文＝青山蒼）