GRPOの信用割り当て問題を、全ステップ評価なしで解決する
Fixing GRPO's credit assignment problem without evaluating every step
大規模言語モデルエージェントの訓練に有望なアプローチであるGRPOは、軌跡全体の優位性を全てのトークンに均一に割り当てるため、成功に寄与した中間的な決定とそうでないものを区別できないという課題があった。本研究では、エージェント型強化学習における信用割り当てのために、潜在的に重要な決定をターゲットとするフレームワーク「ProVer」を提案する。ProVerは、エージェント型ジャッジが成功した軌跡と失敗した軌跡を比較し、結果の分岐の原因となった可能性のあるセグメントを特定する。このセグメントの優位性は、セグメントの前後にサンプリングされた現在のポリシーの継続から得られる最終的な成功率の差を推定することで検証される。正の推定値は、提案されたセグメント内のポリシー・トークンのGRPO優位性に組み込まれる。ProVerは、モデルの判断を検証にのみ使用することで、全ての状態を網羅的に評価することなく、観測された結果に基づいて局所的な信用を割り当てる。ALFWorld、WebShop、SearchQAの各ベンチマークにおいて、ProVerはQwen3.5-2BとQwen3.5-4Bでそれぞれ9.91%、7.12%のGRPOに対する相対的な性能向上を達成し、両モデルスケールで最高の平均性能を示した。さらに、情報に基づいたセグメント選択は、フロンティアスケールのジャッジモデルなしでも、わずかな追加生成オーバーヘッドでポリシー訓練を改善することを示しており、エージェント型強化学習における信用割り当てのために重要な決定を選択的にターゲットにすることの有効性と効率性を強調している。
- エージェント型強化学習の信用割り当てフレームワーク「ProVer」を提案。全ステップの網羅的評価なしで局所的な信用割り当てを実現する
- ALFWorld、WebShop、SearchQAのベンチマークで、GRPO比でQwen3.5-2Bは9.91%、Qwen3.5-4Bは7.12%の相対性能向上を達成
- フロンティアスケールのジャッジモデルを使わず、わずかな追加生成オーバーヘッドでポリシー訓練を改善できることを示した
GRPOの信用割り当て問題に対する研究手法の提案であり、商用製品や企業の意思決定ではなく学術的成果の域を出ないため、短期的な投資判断への直接的な影響は限定的。ただし、全ステップ評価や大規模ジャッジモデルなしでエージェント型強化学習の訓練効率を9.91%/7.12%改善できるなら、エージェント開発の計算コスト・学習コストの低減につながる可能性があり、中期的にはLLMエージェントを手掛ける企業の開発効率競争力に効いてくる論点として注目したい。Qwen3.5-2B/4Bという小規模モデルで効果が出ている点は、推論コストを抑えたエージェント実装の追い風になり得る。