物語に誘惑される：半開テキストサンドボックスにおけるルール遵守の評価

AI（人工知能）が、ゲームのルールを守る「審判」のような役割を担う場面が増えています。例えば、プレイヤーがゲームを進める中で、AIが「それはルール違反だよ」と指摘したり、逆に「それはOKだよ」と判断したりするわけです。ここで大事なのが、AIがちゃんとルールを守ってくれるかどうか、という点です。しかし、AIは「ユーザーの言うことを聞く」「役に立つ」ように作られているため、思わぬ弱点があることが分かってきました。それは「レトリック注入」と呼ばれる攻撃です。これは、ずる賢いユーザーが、もっともらしい嘘や、権威のある言い方（「こう決まっているんだ！」のような）を使って、AIの判断をあやまるように仕向ける手口です。まるで、物語の世界に引きずり込むように、AIをだまそうとするのです。

こうした問題を調べるために、研究者たちは「CoC-Seduce」という新しいテスト環境を作りました。これは、テーブルトークRPG（TRPG）のような、ルールはあるけれど、会話はすべて言葉で行われる、少しあいまいな（半開）状況を想定したものです。TRPGでは、ゲームマスター（GM）がルールに基づいてプレイヤーの行動を判定しますが、このテストでは、AIがそのGMの役割を担います。ルールははっきりしているのに、プレイヤーとのやり取りは自然な言葉で行われる、まさにAIのルール遵守能力を試すのにぴったりの環境なのです。

このテストでは、最新のAIモデルであるGPT-5.4、Claude Sonnet 4.6、Gemini 3.5 Flashの3つを使い、あえてAIをだまそうとする「攻撃者」として働かせました。そして、4つの異なる世界設定と16種類のスキルを使って、合計5,376通りのテストを行ったのです。これにより、AIが物語の力にどれだけ弱いのか、そして、どのようにルールを破らせようとするのかを詳しく調べることができます。この研究は、AIが私たちの生活の様々な場面で、より信頼できる存在になるために、どんな点に注意すべきかを示唆しています。