インディ・ロムコム：ローマ字化されたインド・英語指示におけるLLM評価のためのコード混合ベンチマーク

普段、私たちがスマホでメッセージをやり取りする時、つい方言や英語が混ざっちゃうこと、ありますよね。「今日、〇〇（地名）行くから、△△（お店の名前）寄ってって！」とか、「この件、laterでいい？」みたいに。これは「コードミキシング」とか「コードスイッチング」なんて呼ばれる現象で、特にインドでは、英語と現地の言葉をローマ字で混ぜて使う「ローマ字化コードミキシング（RCM）」が、多くの人にとってごく自然なコミュニケーション方法になっているんです。

AI、特に「大規模言語モデル（LLM）」と呼ばれる、文章を理解したり作ったりするのが得意なAIたちは、普段は一つの言葉だけで書かれた文章（たとえば、英語だけの指示とか）なら、すごく賢く動いてくれます。でも、このRCMのように、色々な言葉や書き方が混ざった指示になると、AIたちはどうも苦手な様子。一体どれくらい苦手なのか、ちゃんと調べてみないと分かりませんよね。

そこで今回、インドのローマ字化された言葉が混ざった指示に対して、AIがどれだけうまく動けるかを調べるための新しい「テストセット」が作られました。その名も「インディ・ロムコム」。このテストセットでは、7種類の指示（たとえば、文章を要約して、とか、質問に答えて、といったもの）を、4つのインドの主要な言語と英語が混ざったものでAIに出しています。さらに、言葉が混ざる割合も3段階に分けて、AIの賢さをじっくり試せるようになっています。

このテストで、いろんなAI（有名なものから、最近出てきた新しいものまで）を試してみたところ、残念ながら、AIたちはRCMの指示になると、どうもいつもの調子が出ないことが分かりました。しかも、言葉が混ざる度合いが強くなるほど、AIの成績はどんどん下がってしまうという結果に。つまり、AIはまだ、私たちが日常で自然に使っている「混ざり言葉」のコミュニケーションを、完璧には理解できていない、ということなんです。これは、AIがもっと多くの人にとって便利になるためには、乗り越えなければならない大きな課題と言えそうです。