GRPO基线调整：子组偏移的两个方向

论文用子组偏移调整GRPO基线，两个方向均小幅提升覆盖率。

资讯摘要

论文关注GRPO中同一提示下rollout策略与推理轨迹异质、形成子组且奖励分布不同的情况，指出全局基线无法反映rollout在子组内及子组间的相对位置。作者将子组均值相对全局均值的偏差定义为子组偏移，用单一带符号系数λ沿该偏移移动基线：λ>0为Alignment，λ<0为Contrast，仅改基线、不改奖励信号与优化目标。按策略划分子组后，在Qwen3-8B-Base与Olmo3-7B-Base及四个竞赛级数学基准上对比λ=0锚点，作者报告两个方向在多采样覆盖率上均有小幅但一致的提升，Contrast更强。

要点速读

1. 论文指出GRPO的全局基线会把异质子组压到单一信用轴上，既不能反映rollout在子组内的位置，也不能反映子组相对整体的位置。
2. 方法仅调整基线：以子组偏移乘以带符号系数λ，λ>0为Alignment、λ<0为Contrast，奖励信号与优化目标不变。
3. 在Qwen3-8B-Base和Olmo3-7B-Base、四个竞赛级数学基准上，相对λ=0锚点，两个方向在多采样覆盖率上均有小幅但一致的提升，Contrast更强。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。