学生の振る舞いを教師が正規化：英語証拠付きクロスリンガルRAGのための教師正則化強化学習

AIが私たちの質問に答えてくれる時、その答えがどれだけ正確で、しかも私たちが使いたい言語で出てくるかは、とても重要ですよね。特に、インターネットで検索して情報を集めてくる「検索拡張生成（RAG）」という技術が使われている場合、その仕組みが少し複雑になります。

今回ご紹介する研究は、このRAGの「クロスリンガル（多言語）」版、つまり、私たちが日本語で質問しても、AIが英語の情報を元に答えを生成するような状況に注目しています。一見、英語の知識が豊富なら問題なさそうに思えますが、実はここに落とし穴があるというのです。

AIが英語の情報を「証拠」として使おうとしても、質問は日本語なのに証拠は英語、というズレが生じます。そうなると、AIは証拠をうまく使えなかったり、つい英語で答えてしまったり（言語ドリフト）、あるいは英語と日本語を混ぜてしまったり（コードスイッチング）することがあるそうです。まるで、日本語で書かれた質問なのに、英語の参考書しか手元にないような状況でしょうか。

こうした問題が起きる原因は、主に二つあると考えられています。一つは、AIが質問を受けてから回答を生成するまでの「過程」で間違いが起きてしまうこと。特に、最初の質問（プレフィックス）が間違っていると、その後の過程もどんどんズレていってしまうようです。もう一つは、AIの回答全体を「丸ごと評価」するやり方だと、どこでどう間違ったのか、細かい評価が難しいことです。例えるなら、テストの点数だけ見て、どの問題で間違えたのか分からないような状態です。

そこで、この研究では「TR-RAG」という新しい方法を提案しています。これは、「教師」となるAIが「生徒」となるAIに、より良い回答を生成するように「教え込む」イメージです。具体的には、AIの回答を評価する際に、単に正解かどうかだけでなく、AIがどのような「道筋」で回答に至ったかを重視します。そして、その過程で「生徒」が学んだことを、より効果的に「教師」の知識として取り込む（蒸留）ように工夫されています。

この新しいアプローチによって、AIは多言語の証拠をより正確に理解し、ユーザーの意図に沿った、適切な言語での回答を生成できるようになることが期待されます。私たちの質問が、どんな言語の情報を元にしても、より自然で分かりやすい答えになって返ってくる未来に繋がるかもしれません。