SSR 用可达性对齐把特权教师信号变成可学习的自我改进数据
资讯摘要
论文提出 Self-Steered Reasoner（SSR），针对自我改进中特权教师给出的正确轨迹未必是学生可达的问题，提出可达性对齐原则，通过学生支撑投影把特权教师分布转换为仅覆盖学生局部可达推理动作的方向信号，再经验证保留正确轨迹，并采用迭代精炼框架提升采样效率。作者报告，在即使大量强化学习后 pass@64 仍为 0 的题目上，SSR 无需参数更新即可恢复 74.6% 的正确且可学习轨迹；在这些轨迹上微调并恢复强化学习后，AIME25/26 与 HMMT26 的总体准确率提升 4.9 个百分点。
要点速读
- 论文指出特权教师正确不等于学生可达，解决方案条件化会产生不可达甚至畸形的学习目标
- SSR 用学生支撑投影将教师分布转为学生局部可达推理动作上的方向信号，并以验证筛选正确轨迹
- 作者报告在 pass@64=0 的难题上无需参数更新恢复 74.6% 可学习轨迹，微调加恢复强化学习后总体准确率提升 4.9 个百分点
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。