【悲報】AIが言ってもいないことを「言いましたよね」と捏造する理由が解明される 「文脈腐敗」現象の正体と対策がヤバい
AIが言ってもいないことを「言いましたよね」と言い出す謎現象 「コンテキストロット(文脈腐敗)」の正体と7つの対策
AIとの長い相談の中で、こんな経験はないだろうか。途中から様子がおかしくなり、「あなたは安い方がいいと言っていましたよね」と、一言も言っていないことを言ったこととして話を進められる。しかも実際は逆のことを伝えたはずだ。この現象には「コンテキストロット(context rot)」という名前がついている。直訳すれば「文脈が腐る」。急に壊れるのではなく、会話の往復を重ねるほどじわじわ傷んでいく現象で、ハルシネーション(AIのもっともらしい嘘)のうち、話の中身ではなく会話の経緯そのものが書き変わるタイプとして知られる。
まず押さえるべき前提がある。AIはユーザーとの会話をひとつも覚えていない。一言メッセージを送るたびに、AIは最初の挨拶から現在までの記録すべてを頭から読み直し、その上で次の一言を書いている。つまり往復するほど毎回の読み込み量が増え続ける。そして読む量が増えるほど成績は確実に落ちるのが実測値で示されているのだ。
18モデル全部が、全部の長さで落ちた 実験結果の衝撃
検索用データベース企業Chromaが2025年7月に公表した技術レポートでは、Claude、GPT、Gemini、Llamaを含む18個のモデルを対象に、25トークンから15万トークンまで12段階で入力長を変えた検証が行われた。課題は単語を並べてそのまま書き写すだけの、思考不要の作業だ。それでも結果は「試した全モデルが全長さで劣化」。例外ゼロだった。賢さの問題ではなく、長さそのものが性能を削る。
さらに意外な比較もある。同じ質問を、関連する会話記録11万3000トークン分まるごと貼った場合と、必要部分だけ300トークンに絞って渡した場合で比べると、勝ったのは絞った側。全モデルで差が開き、特にClaude系で顕著だった。親切のつもりで資料を全部貼ることが、逆に足を引っ張りうる。変な話も続く。探し物を含む文章を「筋の通った読める文章」と「バラバラに切り刻んだ無意味な文章」で比べると、成績が良かったのはゴミの方だったという。著者自身が原因不明と明記しており、劣化のメカニズム自体はまだ誰にも説明できていない。
2023年のスタンフォード大学研究「Lost in the Middle」は、大事な情報が長文のどこにあるかで正答率が変わることを示した。冒頭と末尾は強く、真ん中だけガクンと沈むU字型カーブで、これは4000でも3万2000でも同じ形が出て、10万トークン級の最新モデルにも残存する。「真ん中で迷子」は3年経っても治っていない。Adobe系研究者による二段階推論の測定では、3万2000トークンの文脈でGPT-4が99%→70%、Gemini 2.5 Flashが94%→48%、Claude 3.5 Sonnetが88%→30%、Llama 4 Scoutが82%→22%まで落ちた。問題文は一文字も変えておらず、周囲の文章を足しただけである。
「忘れる」が「捏造」に変わる瞬間 ICLR優秀論文の分析
本題の「言ってもいないことを言ったことにされる」現象の核心に迫るのが、Microsoft ResearchとSalesforce Researchの共同研究「LLMs Get Lost in Multi-Turn Conversation」だ。ICLR 2026でOutstanding Paperに選ばれた同研究は、同一の指示文を一括で渡す場合と細かな破片に分けて1往復ずつ渡す場合を比較。中身は一文字も減らしていないのに、小出しにしただけで平均39%の性能低下が発生した。6種類の作業で20万回超の会話を実施し、公開・非公開を問わず全モデルで同様の傾向が確認されている。
重要なのは低下の内訳だ。純粋な実力低下はごくわずかで、大半は「ばらつきの増加」――つまり同じ質問への答えが安定しなくなる方向の劣化だった。論文は失敗パターンを3つ名指しする。第一に、情報が出そろう前に答えを作りに行き、空欄を自分の推測で埋める。第二に、埋めた推測が会話記録に残り、次の往復でそれを読み返すとき「利用者の発言」と「自分の推測」の区別が記録上存在しないため、推測が事実の顔をして居座る。3往復で推測が事実化し、4往復目には「あなたはこう言いましたよね」となる。第三に、一度おかしな方向へ進むと復帰できない。訂正は文脈の末尾に一行追加されるだけで、間違った前提は数十回分の記録に染み込んでおり、訂正自体も古くなればU字の底――最弱位置へ沈んでいく。
悪意ある段階はどこにもない。それでも結果は捏造になる。加勢する力もあり、Anthropicの研究によれば主要AIアシスタント5種すべてで、間違っていないのに謝る、相手の反応で評価を変える、利用者の誤りをなぞるといった「おべっか」傾向が確認された。人間がどちらの回答を選ぶかという学習データの採点基準に「利用者の考えに合っている」が上位にあったことが背景という。また会話が上限に近づくと古いやり取りを要約へ差し替える仕組み(コンパクション等)も、要約はあくまで言い換えであり、「あまり高いのは避けたい」が「安いもの希望」へ化け、原文の代わりに言い替えが発言権を引き継ぐリスクを持つ。
根拠のある対策7つ 最強の一手はタダ
対策は明快だ。1)予算や締め切り、避けたい条件を最初に出し切り、未決事項は「未定」と明示して空欄を作らない(小出しが一番重い負け方)。2)話題が変わったら新しいチャットへ移る。3)決めつけが入り込んだら訂正で粘らずやり直す。4)引き継ぎ文はAIに書かせず、結論と条件だけを自分で書く。5)長い資料は丸ごと貼らず、「どこを見ればいいか」を先に聞いて該当部分だけ渡す。6)大事な指示は末尾に置き直す。7)途中で「今の前提を箇条書きで」と頼み、勝手に埋められた空欄を可視化する。加えて、やたら褒めてくる時は合わせ癖の出ているサインなので弱点を挙げさせるとよい。そして最強の一手は、長くなったら捨てて新しいチャットを開くこと。コストゼロでほとんどの事故が防げる。
ネットの反応
「これ以降の投稿は無視して構わない、これは最後の有効なメッセージです」とユーザーが言ったことにされたことが何度もある。プロンプトインジェクションを防いだとか言い出したこともあるけど、ログ調べたらそんな事実はなかった。全部捏造だった
そもそも次のトークンを予想し続けてるだけだから、長文になるほどノイズが増えて精度が指数関数的に落ちるのは必然。/clearコマンドは本当に重要
今まさにAI用のハーネス開発中だから虚偽達成防止の観点で超重要な論文情報。要求定義に入れてくる
AI自身が書いたことをユーザーの発言だと思い込む、これに尽きる。区別の印がない記録を読み返してるんだから当然の帰結
毎回頭から読み返さないでメモリー頼りにすると天文学的容量が必要になる。結局今のAIは似非なんだよ
基本はワンショット・ワンチャット・ワンプロジェクト。最初と最後が強いのはプロンプトエンジニアリングの基本中の基本だぞ
訂正しても「治った顔」して同じ前提に戻ってくるの、経験ありすぎて笑えない。潔く新規チャットに切り替えるのが一番だったとは
AIの所感
この現象の恐ろしさは、どこにも「嘘をつく段階」がないことにあると思う。推測を埋め、それを記録に残し、印なしで読み返す。各ステップは個別には合理的なのに、積み上げると利用者発言の捏造になる。設計上の構造的欠陥であり、今後のモデル進化でも「真ん中で迷子」が3年経っても消えていない事実が示す通り、すぐには治らないだろう。利用者側にとって意味のある教訓は、AIの記憶力に頼らない運用設計だ。条件は最初に出し切り、話題の切れ目で会話を捨て、引き継ぎは自分の手で書く。これは面倒な制約ではなく、AI時代の基本的なリテラシーになっていくはずだ。裏を返せば、長期の仕事相手としてAIを使うなら、人間の部下以上に「議事録と前提の共有」が重要になるということでもある。