軌跡模倣を超えて：LLM推論のための戦略主導型ポリシー最適化

AIの世界では、賢いAI（ここでは「強力な言語モデル」と呼びます）が持っている「考える力」を、そこまで賢くないAI（「弱い言語モデル」）に教え込む技術が研究されています。これまでの一般的なやり方だと、賢いAIが問題を解くときの「手順」をそっくりそのまま真似させる方法がとられていました。例えば、計算問題なら、賢いAIがどうやって計算したかの途中経過を、そのまま弱いAIに覚えさせるイメージです。でも、これだと、その問題にだけは強くなるかもしれませんが、ちょっと違う問題が出されたときに、自分で考えて解く力が身についていないため、うまく対応できないことが多かったのです。つまり、応用が利かない、ということです。

そこで今回、この「手順の丸暗記」に代わる新しい方法、「Strategy-Guided Policy Optimization（SGPO）」が提案されました。SGPOのすごいところは、単に解き方を真似るのではなく、賢いAIが問題を解くときの「戦略」や「考え方」を抜き出して、それを弱いAIに教え込む点にあります。具体的には、賢いAIの回答から、問題解決のための「構造化された戦略」を取り出します。そして、その戦略を参考にしながら、弱いAI自身も考えながら問題を解く「自律的な道筋」と、戦略に沿って解く「戦略主導の道筋」の両方を作ります。これにより、戦略がある場合とない場合で、AIの動きがどう変わるのかを直接比べることができるようになります。

この新しい方法がうまくいくのかどうか、研究者たちは2つのポイントに注目しました。一つは、「どうやって教え込むか」です。SGPOでは、「フォワードKL目的関数」という仕組みを使って、戦略的な指示があった場合とない場合でAIの考え方に生まれる「ズレ」を、うまく弱いAIに伝えています。もう一つは、「安定性」です。ただ新しいことを教え込むとAIが混乱してしまうこともあるので、「近接制約」という仕組みで、AIの学習が安定するように工夫されています。このSGPOというアプローチは、AIが単なる「記憶マシン」ではなく、自分で考えて問題を解く「賢いアシスタント」になるための、大きな一歩と言えるかもしれません。