不存快照、向上一阶段学生回放可接近联合多教师蒸馏效果。
资讯摘要
论文提出持续多教师在线策略蒸馏（MOPD）设定：各领域专家依次到达，早期专家在新领域学习时已不可用，顺序蒸馏会导致对早期领域的灾难性遗忘。作者以“从早期阶段保留什么”为切入点，研究向上一阶段学生回放：每阶段用上一阶段学生作为早期领域提示的教师，无需保留早期专家或阶段快照。论文探索回放预算共享或按领域固定、仅蒸馏 token 分布或加入隐状态与注意力等对齐两种设计，并在逻辑、数学、代码、安全、指令遵循五领域基准上实验。作者报告，不存快照的回放能缩小顺序蒸馏与联合 MOPD 的大部分差距，按领域固定回放份额时与用全部快照恢复相当。
要点速读
- 论文将持续 MOPD 形式化为保留早期阶段内容的回放问题，回放时以上一阶段学生为教师，不保留早期专家或阶段快照。
- 探索两种回放设计：预算在早期领域间共享或按领域固定；回放步骤仅蒸馏 token 分布或加入隐状态、区域池化自注意力分数与价值关系的对齐。
- 基于一个 1.5B 学生的公开专家构建逻辑、数学、代码、安全、指令遵循五领域基准，在 14 个基准上实验；作者报告固定每领域回放份额时与全部快照恢复表现相当。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。