VeriGate：GRPO向け検証器ゲート付きステップレベル監督

ニュース概要

Group Relative Policy Optimization（GRPO）は検証器ベースの結果報酬を用いた推論モデル訓練のための効果的なレシピであるが、その監督は疎である。プロンプトについてサンプリングされたすべての軌跡が同じ検証器報酬を受け取る場合、グループ相対的なアドバンテージはゼロに低下し、学習が停滞する。