CARD把教师求解轨迹改写为贴合学生的教学轨迹，提升推理蒸馏效果。
资讯摘要
论文指出，大型推理模型的教师轨迹经奖励驱动后训练优化，目标是成为强求解器而非易学的教学过程，小模型直接模仿原始轨迹常效果不佳且需大量高质量样本。作者提出基于强化学习的CARD框架，将现有求解轨迹直接转化为与学生认知对齐的教学轨迹，避免昂贵重采样，并用分布对齐奖励与逻辑连贯奖励优化。作者报告在多种学生模型与设置下，CARD在域内优于原始轨迹蒸馏，域外性能提升明显，代码已开源。
要点速读
- 论文提出CARD，用强化学习把教师模型的求解轨迹改写为贴合学生认知的教学轨迹，无需重新采样。
- CARD使用分布对齐奖励和逻辑连贯奖励两种信号进行优化，后者用于减少误导性的失败推理步骤。
- 作者报告在多个学生模型和设置下，CARD域内表现优于原始教师轨迹蒸馏，域外性能提升明显，代码已在GitHub发布。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。