GRPO、Dr. GRPO、DAPO：1つの数値に対する3つのオペレーション – グループ標準偏差アイデンティティ

AI（人工知能）の世界では、コンピューターに「考える力」、つまり推論能力を教え込むのが大きなテーマの一つです。そのための方法として、これまで3つの異なるテクニックがあるように見られてきました。それが、GRPO、Dr. GRPO、DAPOという名前で知られるものたちです。まるで別々の発明品のように扱われてきましたが、実はこれ、みんな同じ「考え方」の、ちょっとずつ違うバージョンだった、ということが最近の研究で明らかになりました。

ここでいう「推論能力」をAIに教えるとき、どうやってAIの「理解度」を測るかというと、AIが問題に対してどれだけバラバラな答えを出すか、という「不一致度」をチェックします。この不一致度を測るのに使われるのが、「標準偏差」という、ちょっと専門的な数値です。これは、たくさんの答えの中から、どれくらい答えがばらついているかを示す数字だと思ってもらえればOKです。

AIがトレーニングされるとき、一つの問題に対して何度も答えを出させます。そして、その答えが「合っているか」「間違っているか」を自動でチェックする仕組みがあります。もしAIが、正解と不正解の答えを半々くらいで出すような状態だと、この標準偏差は大きくなります。逆に、AIがいつも同じような答えばかり出す（それが正解でも不正解でも）と、標準偏差は小さくなり、最終的にはゼロになります。つまり、標準偏差が小さいほど、AIの答えに一貫性がある、つまり「ちゃんと考えているらしい」と判断できるわけです。

さて、GRPO、Dr. GRPO、DAPOの3つは、この「標準偏差」という数値をどう扱うかで違いが出てきます。GRPOは、この標準偏差で「割る」という操作をします。Dr. GRPOは、その割るという計算を省略します。そして、DAPOは、標準偏差がゼロになる、つまり答えが完全に一致してしまったグループは、もう学習の対象から外してしまう、というアプローチをとります。

これらの3つは、それぞれ独立した新しい技術として発表されてきました。しかし、今回の研究では、これらはすべて、不一致度という「一つのダイヤル」を、それぞれ違う「設定」にしただけのものである、と数学的に証明したのです。つまり、別々の発明ではなく、同じ基本原理に基づいた、バリエーションに過ぎなかった、というわけです。この発見は、AIの推論能力をどうやって効率よく教えるか、という研究の方向性に、新たな視点をもたらすかもしれません。