论文提出先适配教师再蒸馏，提升学生数学推理表现。
资讯摘要
论文针对在线策略蒸馏（OPD）中教师面对学生生成前缀时的分布不匹配问题，提出学生前缀教师适配（SPTA）：在 OPD 开始前，收集随机长度的学生 rollout 前缀，用带可验证奖励的强化学习（RLVR）持续训练教师从这些前缀继续作答，再以适配后的教师执行标准 OPD，蒸馏目标不变。数学推理基准实验显示，SPTA 的学生平均表现优于标准 OPD 及使用任务级 RLVR 适配教师的 OPD。
要点速读
- 论文指出学生生成的前缀可能含推理错误或教师不熟悉的模式，前缀越长，教师逐 token 监督的可靠性越差。
- SPTA 先用随机长度学生前缀配合 RLVR 训练教师，使其学会从学生诱导的状态中恢复，而非模仿学生推理。
- 数学推理基准上，SPTA 的学生平均表现优于标准 OPD 和任务级 RLVR 适配教师的 OPD。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。