大規模言語モデルの賛否バイアスは、道徳的判断の変化ではなく、回答順序と文言を反映する

最近、AI（人工知能）である大規模言語モデル（LLM）の判断に、なんだか「偏り」があるんじゃないか？という声を聞くことがあります。例えば、ある質問に対して「はい」か「いいえ」で答えるような場面で、AIが「はい」を多く選んだり、逆に「いいえ」を多く選んだりすることがあるようです。さらに驚くべきは、質問の「言い方」や「順番」が変わるだけで、AIの答えまで変わってしまうことがあるというのです。これは、人間が道徳的なジレンマ（どちらを選んでも難しい問題）に直面したときの判断と比べて、AIの方がもっと単純な、論理とは関係ない部分に影響されやすい、ということを示唆しています。

このAIの「偏り」が一体何から来ているのか？それを調べるために、研究者たちは「クロス対称化」という新しい方法を使いました。これは、質問の言い方や順番といった、AIの判断に影響を与えそうな「論理とは関係ない部分」を、意図的に反対にしてペアを作り、AIの反応を比べるというものです。まるで、言葉のトリックにAIがどう反応するかを試すようなイメージですね。

その結果、AIの判断が、質問の「形式」にほとんど左右されない、一貫した「道徳観」を持っていることが分かったのです。これは、AIが内部で持っている判断基準が、意外としっかりしていることを示しています。しかし、ここで「小型のオープンウェイトモデル」という、比較的小さなAIモデルは、このテストで「モデル固有の方法で失敗した」とのこと。つまり、小さいAIほど、この手の「言葉のトリック」に弱い可能性があるということですね。

では、なぜAIは「はい」や「「いいえ」で答える際に偏りを見せるのでしょうか？研究では、その原因が二つあることが分かりました。一つは、選択肢が並んでいるときに、最後に提示された選択肢を選びやすいという「順序バイアス」です。これは、人間が最初の情報に影響されやすい「プライマシー効果」とは逆の現象です。もう一つは、「いいえ」という単語にAIが引っ張られやすいという「語彙的な引き寄せ」です。まるで、「いいえ」という言葉に特別な意味を感じてしまうかのようです。

この「順序バイアス」と「語彙的な引き寄せ」は、AIが「はい」か「「いいえ」かの決断を迫られたときに現れる、いわば「仕掛け」のようなものです。この仕掛けは、特に「Claude」というモデルで強く見られたそうですが、「GPT-5.5」や「Gemini」といった、より高度なモデルではほとんど見られなかったとのこと。さらに、AIがより複雑な推論を行うように訓練されると、この偏りはさらに小さくなることも分かっています。興味深いのは、「決断」と「言葉」が、AIの内部で一つの「トークン」（AIが情報を処理する最小単位）を共有しているという点です。この共有が、偏りの原因に関係しているのかもしれません。