言語的誘導の調査：大規模言語モデルアーキテクチャにおける形容詞効果の分析

AI（人工知能）が私たちの指示をどれだけ正確に理解し、それに従ってくれるか。これは、AIを安全に、そして思い通りに使う上で、とても大切なポイントですよね。AI、特に「大規模言語モデル（LLM）」と呼ばれる、文章を作るのが得意なAIたちが、言葉のちょっとしたニュアンスにどう反応するかを、もっとしっかり理解する必要がある、というのが今回の研究の出発点です。

そこで研究者たちは、AIの賢い頭の中を覗くための新しい「ものさし」を作りました。それが「シャプレー値」という、ちょっと専門的な名前の分析方法です。これは、AIの性能に、ある言葉（今回は「形容詞」）がどれだけ影響を与えたかを、数字でハッキリさせるための道具です。たとえば、「賢い犬」と「物静かな犬」という二つの言葉があったとき、どちらがAIの回答に、より大きな変化をもたらすのか、といったことを、感覚ではなく、きちんと数字で測ろうというわけです。

この新しい「ものさし」を使って、研究者たちは、AIの性能を測る有名なテスト（MMLUベンチマーク）で、100個の形容詞がAIの反応にどう影響するかを調べました。対象となったAIは、o3、gpt-4o-mini、phi-3、llama-3-70b、deepseek-r1など、いろいろな種類のものたちです。この分析から、いくつか面白いことが分かってきました。

まず、すべての形容詞が同じようにAIに影響を与えるわけではない、ということです。ほんのいくつかの形容詞が、AIの振る舞いを大きく変える「魔法の言葉」のような役割を果たすことがあったんです。でも、その「魔法」がすべてのAIに効くわけではありませんでした。ここがさらに興味深いところなのですが、AIたちの「家系図」のようなものが関係しているようなのです。例えば、似たような技術で作られたAIたちは、似たような形容詞に敏感に反応する傾向がありました。でも、全く違う技術で作られたAIたちは、それぞれバラバラの反応を示したのです。これは、「どんなAIにも通用する、万能な指示の出し方」というのは、実は存在しないのかもしれない、ということを示唆しています。AIの設計や生まれた背景によって、得意な指示の出し方が違う、ということなんですね。AIとのコミュニケーションは、もっと個々のAIの特性を理解しながら行う必要がありそうです。