论文：组相对奖励下GRPO变成零和锦标赛

论文指出GRPO在组依赖奖励下目标偏移，提出Team-GRPO修正。

资讯摘要

论文分析奖励依赖同组其他样本（多样性、覆盖度、分布匹配）时GRPO与RLOO的组相对基线会改变优化目标：期望更新等于各响应自身奖励梯度加上α倍其对同组其他样本奖励的影响，K个样本时α=-1/(K-1)，即训练每个响应去击败同组伙伴。作者提出α=+1的Team-GRPO，称其为该场景的无偏估计，每个提示只需两个样本。实验显示GRPO在GlobalOpinionQA上坍缩到多数答案，Team-GRPO将误差从0.20降至0.08。

要点速读

1. 论文证明组相对基线在组依赖奖励下改变目标，GRPO等价于零和锦标赛，K=2时看不到成对多样性奖励。
2. 作者提出Team-GRPO（α=+1），称对任意组依赖奖励无偏，每提示两个样本即可，成对奖励无需额外模型调用。
3. GlobalOpinionQA上GRPO坍缩到多数答案、离人类意见更远，Team-GRPO把误差从0.20降到0.08；NoveltyBench上避免多样性坍缩。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。