论文用熵形状相关性预测在线策略蒸馏的教师选择效果。
资讯摘要
论文研究在线策略蒸馏（OPD）中学生模型从教师处学到什么。作者指出，OPD 不仅学习“如何分支”（考虑哪些候选 token），还学习“在哪里分支”（在何处保持推理路径开放），而现有 token 重叠指标只覆盖前者。论文提出用下一 token 熵序列的“熵形状”刻画后者，并给出熵形状相关性（ESC）指标；实验显示，在保持教师 token 偏好不变时干预其熵，可因果影响 OPD 收益。作者还将 OPD 结果预测建模为教师选择任务，报告蒸馏前的 ESC 能选出更优教师。
要点速读
- 论文提出熵形状（下一 token 熵序列）与 ESC 指标，用于衡量师生在“在哪里分支”上的一致性。
- 作者通过干预教师熵并保持 token 偏好，报告“在哪里分支”独立于“如何分支”因果驱动 OPD 收益。
- 论文将 OPD 结果预测设为教师选择任务并给出评测协议，报告蒸馏前 ESC 优于现有预测方法。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。