SetGRPO 用集合校准与风险门控抑制评分器随机性带来的更新偏差
资讯摘要
论文指出，基于评分细则的强化学习中，评分器的随机性会通过 GRPO 的组内奖励归一化改变整组训练系数，仅凭分数差异无法刻画这种影响。作者提出 SetGRPO，包含联合奖励集合校准、几何引导的安全恢复与选择性风险门控优化三个模块，在可交换性假设下给出有限样本覆盖与风险控制。作者报告在三个领域十个开放式基准上，Qwen3.5 与 Llama3.2 两个模型系列的宏平均均为对比方法中最高。
要点速读
- 论文指出评分器随机性会经 GRPO 组内归一化改变整组训练系数，分数差异不足以刻画该影响
- SetGRPO 含联合奖励集合校准、几何引导安全恢复、选择性风险门控优化三个模块
- 作者报告在三个领域十个开放式基准上，Qwen3.5 与 Llama3.2 系列宏平均均为对比方法最高
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。