SCARL：序列置信度对齐强化学习

SCARL 用置信度对齐重塑优势，报告较 DAPO 提升 Pass@32。

资讯摘要

论文提出 SCARL（Sequence Confidence-Aligned Reinforcement Learning），针对 RLVR 中策略对回答的置信度与奖励信号不挂钩的“序列置信度错位”问题：同等优势的成功与错误获得相同更新力度。方法按组内相对置信度与优势所认证结果之间的对齐差距重塑优势，不改变优势符号，并归一化为各类别优势预算份额。作者报告在 Qwen3-4B-Base 上平均 Pass@32 较 DAPO 提升 2.4 点，在九种算力匹配方法中覆盖率与单次采样准确率均最优，跨四种估计器与四种骨干网络在 16 个设置中 14 个改善，同时保持策略熵。

要点速读

1. 论文指出 RLVR 中优势信号对置信度不敏感，导致“勉强成功”与“高置信成功”获得相同更新，高置信错误也未获更强纠正。
2. SCARL 用组内相对置信度与优势认证结果间的对齐差距重塑优势，不改变符号，并归一化为各类别优势预算份额；作者称当某类别置信度一致时可退化为原估计器，且不增加额外前向与仅多一个超参数。
3. 作者报告 Qwen3-4B-Base 上平均 Pass@32 较 DAPO 提升 2.4 点，在九种算力匹配方法中覆盖率与单次采样准确率最优，跨四种估计器与四种骨干网络 16 个设置中 14 个改善，并保持策略熵、扩大置信度与正确性的分离度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。