AIの要約の誤りで記憶がゆがむ 米大学の実験、AIが書いたと伝えても防げず

米ジョージタウン大学と米ワシントン大学の研究チームは、AIが作った要約に誤りがあると、読んだ人の記憶がゆがむとする研究を発表した。論文は、2026年10月12〜14日にスウェーデンのマルメで開かれた国際会議「AIES 2026」(AIと倫理・社会がテーマ)の論文集に、10月11日付で載った。

どんな実験なのか

参加者は、ネットで集めた米国に住む大人だ。まず、赤い車が交差点で歩行者にぶつかる25秒のアニメーション動画を見た。交差点の標識は、「一時停止」か「道をゆずれ」のどちらかだった。

24〜48時間後、ChatGPTが書いた動画の要約を読んだ。半数の人の要約は、研究者が標識の部分だけを実際と違うものにしてあった。そのあと、動画で見た標識はどちらだったかを答えてもらった。

両方の段階を終えたのは331人。正しい要約を読んだ人は83.6%が正しく答えたが、誤りを含む要約を読んだ人では44.8%だった。

「AIが書いた」と伝えても変わらず

要約を読む前に、半数の人には「AIが書いた」、残りには「人が書いた」と伝えた。中身は同じだ。それでも記憶のゆがみ方に差は見られず、AIへの信頼の高さや使う頻度とも、はっきりした関係はなかった。

チームは、ChatGPTとGeminiに同じ動画を要約させる分析もした。20本の要約すべてに誤りがあり、1本につき7〜21か所あった。95%の要約は、車が歩行者にぶつかる場面そのものを書いていなかった。

AIとの会話でも「無かったこと」を覚える

米マサチューセッツ工科大学(MIT)メディアラボなどのチームも、AIが偽の記憶(実際には無かったことの記憶)を生みうるとする研究を続けている。2024年8月に査読前の論文として公開した実験では、200人に強盗事件の防犯カメラの映像を見せ、GPT-4を使った「AIの警察官」が質問した。質問には、映像に無いことを前提にした問いを5つ混ぜた。AIが答えを肯定して話をふくらませる条件では、答えの36.4%が誤った方へ引きずられ、直後の偽の記憶は何もしない場合の3倍を超えた。

AIで手を加えた画像から作った動画を見せた別の実験(2025年発表)では、偽の記憶の数が、手を加えない画像の場合の2.05倍になった。AIで加工したと示す表示を付けていても、防げなかった。

研究の限界と、示された対策

ジョージタウン大学などの実験は、ゲームで作った単純な動画で、誤りは標識の1種類だけだ。誤りは研究者が入れたもので、AIが自分で作ったものではない。

論文は、要約を読む前に誤りがありうると注意しておくと、食い違いに気づきやすくなる可能性を挙げる。ただ、注意が効かないこともあり、重い場面でAIを使うべきかそのものを考えるべきだとした。筆頭著者のマテア・シム氏は「とくに重大な場面では、AIで情報を要約すべきか、どう使うべきかを深く批判的に考えるべきだ」と述べている。

日本ではどうなるのか

紹介した研究は米国の大学が中心で、日本の人を対象にした実験ではない。論文や大学の発表に、日本についての言及はない。

まとめ

多くの指針は、AIの間違いを人が確かめて直すことを求めている。今回の研究は、確かめる側の記憶のほうがゆがむおそれを示した。生成AIのもっともらしい誤りは、「実在しない判例」を載せた書籍の回収でも問題になった。大事な場面ほど、元の資料に当たりたい。