SAAG：構造化エージェント評価とグラウンディング

AI、特に最近話題の「エージェント」と呼ばれる、自分で考えて色々なツールを使いこなす賢いAIについて、その能力をどうやって測るか、というお話です。

AIが何かを頼まれたとき、例えば「今日の天気予報を教えて」と言われたとします。AIは「天気予報アプリ」というツール（ここでは「エージェント」と呼びます）を呼び出す必要があります。このとき、AIが「天気予報アプリ」を正しく選べたか、そしてそのアプリに渡す情報（例えば「場所は東京」など）が間違っていないか、といった点が重要になります。

ところが、これまでのAIの能力を評価する方法では、「正解」「不正解」の二択でしか見ることができませんでした。これだと、AIが「天気予報アプリ」は選べたけれど、場所を間違えて「大阪」と入力してしまった、といった「質が違う失敗」を見逃してしまうんです。これでは、AI開発者も、どこをどう直せばもっと賢くなるのか、具体的な手がかりが得られません。

そこで、今回の研究では「SAAG（サグ）」という新しい評価方法を提案しています。これは、AIのエージェント呼び出しを、3つのステップに分けて詳しく見ていくというものです。まず、「①レジストリ適合性」で、AIがそもそも持っているツールの中から、適切なものを選べているかを確認します。次に、「②構造的完全性」で、選んだツールを正しく使える形になっているか、つまり「関数」とその「引数」がきちんと揃っているかを見ます。最後に、「③引数グラウンディング」で、入力された情報（引数）が、現実世界や頼まれた内容に合っているか、つまり「ハルシネーション（幻覚）」、AIがでっち上げの情報を作っていないか、をチェックします。

このSAAGを使うと、AIがどこで、どのように間違えたのかが、より具体的に分かるようになります。さらに、もしAIが間違えたとしても、このSAAGの診断結果をヒントに、AI自身が「あ、間違えたから次はこうしよう」と修正する力も期待できるとのこと。これは、AIがもっと自分の間違いを理解して、賢く成長していくために、とても大切なステップと言えるでしょう。

今回の研究では、このSAAGを使って、比較的小さなAIモデル（40億パラメータ以下）の能力を評価し、その有効性を示しています。AIの能力を正確に測ることは、より信頼できるAIを開発する上で欠かせません。SAAGは、そのための強力なツールになる可能性を秘めています。