TeachBack 用双向偏好优化让教师学会如何教，提升在线自蒸馏效果。
资讯摘要
论文提出 TeachBack，一种面向在线自蒸馏（OPSD）的双向偏好学习框架。作者发现，教师模型虽能借助参考解生成高准确率轨迹，但直接给出完整解答会让学生跳过探索、验证与自我纠错。TeachBack 通过控制注入提示的参考推理后缀长度与提示风格，塑造教师生成行为，并用成对偏好目标双向优化师生轨迹。数学与逻辑推理实验显示，学生表现优于现有 OPSD 方法及基线。
要点速读
- 论文指出，教师模型获得充分特权信息后轨迹准确率高，但未必适合学生学习，完整参考解会削弱探索与自我纠错。
- TeachBack 通过控制参考推理后缀长度和提示风格来调整教师生成行为，在保持教师准确率的同时降低其对参考解的依赖。
- 每次 rollout 刷新时，共享策略同时生成带特权信息的教师轨迹和仅含问题的学生轨迹，并用双向成对偏好目标互相优化。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。