RoAR：用 rollout 一致性改进 GRPO 推理

论文用 rollout 一致性奖励降低正确回答中的虚假推理

资讯摘要

论文对 GRPO 训练模型做盲配对分析，比较同一问题下高一致性与低一致性的正确回答轨迹，发现低一致性轨迹含更多虚假推理（35% 对 22%）。据此提出 RoAR（Rollout-Agreement Reward），在 GRPO 对已验证正确 rollout 的奖励中加入推理层面的一致性信号，无需人工理由、额外采样或单独训练的过程评估器。作者报告 1.5B 模型在五个数学推理基准上零样本平均 pass@1 达 55.5%，高于 GRPO 与 GRPO-CARE。

要点速读

1. 126 对盲分析显示，低一致性正确轨迹的虚假推理比例为 35%，高一致性为 22%
2. RoAR 复用现有 on-policy rollout 组计算推理一致性奖励，不增加采样或过程评估器
3. 作者报告 1.5B GRPO-RoAR 在五个数学基准零样本平均 pass@1 为 55.5%，比 GRPO 高 6.0 个百分点、比 GRPO-CARE 高 5.5 个百分点

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。