大規模言語モデルにおける含意認識とキャンセルを通じた伝達的信念更新の評価

普段、私たちは人と話すとき、言葉そのものだけではなく、相手の表情や声のトーン、そして「言外の意味」を読み取って会話を進めていますよね。例えば、「今日のランチ、美味しかったね」と言われたとき、単に食べ物が美味しかったという事実だけでなく、「また一緒に行きたいな」という気持ちが込められているかもしれません。こうした「言外の意味」を「含意（いんい）」と呼びます。そして、会話の中で相手の考えが変わったり、新しい情報によって認識が更新されたりすることもよくあります。こうした人間のコミュニケーションの奥深さを、AI、特に「大規模言語モデル（LLM）」はどれだけ理解できているのでしょうか？

今回ご紹介する研究は、このLLMの「含意」を理解する力と、会話を通じて相手の「信念（考えや思い）」が更新されるのを捉える力を調べるものです。LLMが、言葉にされていない相手の思いをどれだけくみ取れるか、そして、もし相手が「でも、実は…」のように考えを変えたときに、その変化をLLMがどれだけ正しく追えるかを評価しています。

この研究のために、研究者たちは特別なデータセットを作りました。それは、人々が「含意」をどう判断するか、そして、その含意が「キャンセル」される（つまり、言外の意味が弱められたり、否定されたりする）場面について、専門家が注釈をつけたものです。例えば、「この映画、最高だよ！」と言われたとき、含意としては「あなたも絶対見た方がいい」という思いがあるかもしれません。しかし、「…ただし、あの俳優が出てるのはちょっと…」と続いた場合、最初の「最高だよ！」という言葉の含意はキャンセルされた、と考えることができます。こうした微妙なニュアンスをAIがどう捉えるか、というわけです。

実験の結果、LLMは、特に自然な会話の流れの中では、人間のようには信念の更新を理解できていないことが明らかになりました。人間は、会話の文脈や相手の微妙な変化を敏感に察知して、相手の考えの変化をスムーズに追うことができますが、LLMはまだそこまで追いついていないようです。さらに、LLMが信念の更新を理解できたように見えた場合でも、それはAIが元々持っていた「事前の信念」に影響されている可能性が示唆されています。つまり、新しい情報で考えを更新するというよりは、過去の知識に引きずられているのかもしれません。また、信念更新の失敗も、その更新のタイプや表現の仕方によって、LLMの得意不得意があるようです。

この研究は、私たちが普段何気なく行っている、言葉の裏にある思いや考えの変化を読み取るという高度なコミュニケーション能力が、現在のAIにはまだ備わっていないことを示しています。AIとのより自然で深いコミュニケーションを実現するためには、こうした「言葉にならない思い」や「信念の更新」を理解する能力の向上が、今後の大きな課題となるでしょう。