Supersede：LLMエージェントにおけるメモリ更新ギャップの診断とトレーニング

AIアシスタントやチャットボットが、私たちの生活をサポートしてくれる場面が増えていますよね。例えば、お店の予約をしたり、旅行の計画を立てたり。でも、これらのAIが「賢い」と感じられるかどうかは、過去の情報をどれだけ正確に覚えていて、新しい情報にアップデートできるかにかかっています。もし、AIが古い情報に基づいて「このお店、もう閉店してるよ！」なんて言われたら、ちょっと困ってしまいますよね。

今回注目されているのは、そんなAIの「記憶力」の問題です。AI、特に「大規模言語モデル（LLM）」と呼ばれる、とても賢いAIたちが、長期間にわたる会話の中で、どれだけ正確に情報を更新できるのか、という点が研究されています。例えば、あなたが引っ越して住所が変わったのに、AIが古い住所を覚えていたら大変です。あるいは、商品の値段が変わったり、旅行の計画が変更になったりした場合にも、AIは最新の情報を使う必要があります。つまり、古い情報は「忘れて」、新しい情報を「覚える」という作業がAIには求められるのです。

ところが、この「記憶の更新」が、実はAIにとってとても難しい課題であることが分かってきました。最新のAIモデル（GPT-4.5のようなもの）を使っても、会話の途中で重要な事実が変わった場合、AIの正答率が92%から77%にまで落ちてしまうことが実験で示されました。これは、AIが新しい情報をうまく取り込めず、古い情報に固執してしまう、あるいは新しい情報と古い情報の区別がうまくできていないことを意味します。この正答率の低下は、統計的にも「偶然ではない」とされています。さらに興味深いのは、AIの性能を上げても、この問題はなかなか解決しないということです。AIの「理解力」自体は高いのに、記憶をメンテナンスする能力が追いついていない、というのが原因のようです。

では、これは単にAIが「覚えられる量」が少ないからなのでしょうか？研究者たちは、会話の長さを24倍に増やして実験してみたところ、AIの正答率はさらに大幅に低下してしまいました。これは、AIが情報を「覚える量」の問題だけではなく、どのように情報を整理し、更新していくか、という「記憶の管理方法」に根本的な課題があることを示唆しています。まるで、たくさんの本を持っているけれど、どこに何があるか分からなくなってしまう図書館のような状態かもしれません。この「記憶の更新ギャップ」をどう埋めるかが、AIがより信頼できるパートナーになるための鍵となりそうです。