论文提出token级自适应选择教师的自蒸馏方法MTA-OPSD
资讯摘要
论文提出MTA-OPSD，一种token级自适应在线策略自蒸馏方法。作者通过教师干预试验发现，同一回答内不同token对教师的偏好不同，并可用多数投票与KL选择为每个token确定偏好教师。方法构建多教师池，训练中让每个token自适应选择教师。在Qwen3模型的数学推理任务上，作者报告其持续优于现有OPSD方法，相对基座模型平均增益最高+5.9，代码已公开。
要点速读
- 论文指出固定教师或仅在回答级调整参考暴露都不够，教师偏好可逐token变化
- MTA-OPSD构建候选教师池，训练时每个token自适应选择偏好教师
- Qwen3数学推理实验中，作者报告相对基座模型平均增益最高+5.9，并公开代码
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。