RLVR训练中的首因偏差研究

论文发现RLVR更强化简单题，难题才扩展推理但易致遗忘。

资讯摘要

论文研究RLVR能否扩展基座模型已有推理能力之外的部分，从“首因偏差”角度切入，即模型过度依赖已学表征。作者通过受控实验和大规模分析发现，混合数据上的RLVR训练会进一步强化简单题表现，对难题仅带来边际提升；但难题最能推动表征扩展推理能力，长时间训练难题又可能导致简单题遗忘。

要点速读

1. 论文提出，混合数据上的RLVR训练会放大简单题优势，对难题增益有限。
2. 作者报告，难题虽整体收益不大，却是扩展推理能力、推动表征变化的关键。
3. 作者指出，长时间训练难题可能损害简单题表现并造成遗忘，这或可解释此前关于RLVR的冲突观察。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。