论文称蒸馏需传递的是教师排序而非概率值。
资讯摘要
论文提出 Order-Only On-Policy Distillation（O³PD），指出 on-policy 蒸馏中教师概率同时包含偏好与置信度，后者受温度影响且小模型难以复现。O³PD 在学生自生成前缀上只要求复现教师 top-K token 的排序，不拟合概率值，因此对教师温度不变、无需调温。作者报告在六组教师—学生组合上，O³PD 在 HMMT25、AIME24、AIME25 平均分上均优于 OPD，最高提升 2.9 分，AIME25 上最高提升 5.6 分。
要点速读
- O³PD 在每个学生生成前缀处训练学生复现教师 top-K token 的排序，不拟合其概率值，目标对教师温度不变。
- 作者报告六组教师—学生组合在 HMMT25、AIME24、AIME25 平均分上全部优于 OPD，最高提升 2.9 分，AIME25 最高提升 5.6 分。
- 其他排序损失也带来类似增益，作者据此认为收益来自序数监督本身；分析显示 O³PD 偏离教师概率更远，但排序复现更忠实。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。