GCPO 在组内奖励全为零时引入黄金轨迹对比学习。
资讯摘要
论文提出 Group Contrastive Policy Optimization（GCPO），针对基于组的 RLVR 方法在全部采样回答奖励为零时丢失学习信号的问题。该方法在探索完全失败时启用近端对比目标，将离线黄金推理轨迹与当前策略的失败回答配对，提供正参考与提示相关难负例，且不把黄金轨迹当作 on-policy rollout。作者报告在两种模型规模和 10 个数学推理基准上，GCPO 提升了训练效率与最终推理性能。
要点速读
- GCPO 为混合目标：信息量充足的 rollout 组沿用标准 on-policy 优化，仅在探索完全失败时激活近端对比目标。
- 辅助目标将离线黄金推理轨迹与当前策略的失败回答配对，提供可靠正参考和提示相关难负例。
- 作者报告在两种模型规模、10 个核心数学推理基准上，GCPO 的训练效率和最终推理性能优于监督与 RLVR 基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。