多様体逸脱の緩和：信頼性の高いMLLMデコーディングのための不確実性を認識したサブスペース修正

最近、AIの世界で「幻視」という言葉を耳にすることが増えました。これは、AIが画像を見て何かを説明しようとしたときに、実際にはそこにないものをあたかも存在するかのように語ってしまう現象のことです。例えば、猫の画像を見せたのに「犬がいますね」と答えてしまうようなケースです。特に、画像とテキストを同時に扱うAI（これをMLLM、マルチモーダル大規模言語モデルと呼びます）は、この幻視に悩まされてきました。

なぜこのようなことが起こるのでしょうか？主な原因は、AIが言葉の知識、つまり「言語の事前情報」に頼りすぎることが挙げられます。AIは膨大なテキストデータを学習しているため、「こういう状況なら、普通はこういう言葉が来るだろう」という予測を立てるのが得意です。しかし、この予測が強すぎると、目の前にある視覚情報よりも言葉の予測を優先してしまい、結果として実際にはないものを「見てしまった」と勘違いしてしまうのです。これはまるで、先入観で物事を見てしまい、現実とは違う解釈をしてしまう人間の心理にも似ていますね。

これまでの対策としては、この「言語の事前情報」が強すぎるのを抑え込むアプローチが主流でした。しかし、今回の新しい研究「多様体逸脱の緩和」は、このアプローチには落とし穴があることを指摘しています。実は、言語の事前情報は、幻視の原因になることもあれば、逆にAIが正しい判断をする上で役立つこともある、という二面性を持っているのです。例えば、少しぼやけた画像でも、言語の事前情報と組み合わせることで「これは猫だ」と正しく判断できる場合もあります。これを一律に抑え込んでしまうと、AIの持つ表現の豊かさや正確さが損なわれ、「多様体逸脱」という問題が起きてしまうと説明されています。

「多様体逸脱」とは、AIが情報を表現する際の「構造」が壊れてしまうことを指します。例えるなら、写真のアルバムを整理する際に、関連性の高い写真を近くに置くことで全体として意味のある構造を作っていますが、その構造がバラバラになってしまい、写真同士の関連性が見失われるような状態です。この研究では、この問題を解決するために「Manifold-Guided Adaptive Projection (MGAP)」という新しい技術を提案しています。これは、AIが持つ表現の構造を保ちながら、幻視を減らすことを目指すものです。AIが内部で情報をどのように処理しているかを分析し、言語の事前情報がどの程度信頼できるかを判断しながら、適切な補正を行うことで、より賢く、より正確な判断ができるようにする試みと言えるでしょう。これは、AIが単に事実を羅列するだけでなく、その背後にある意味や構造を理解する一歩となるかもしれません。