教师进化自蒸馏 TESD 提升 OPSD 监督质量

论文提出 TESD，用教师进化与可靠性降权改进 OPSD 监督质量。

资讯摘要

论文指出，On-Policy Self-Distillation（OPSD）在训练中难以持续提升，原因是模型在部分样本上的自教学能力有限，会给出不可靠的指导。作者提出 Teacher-Evolution Self-Distillation（TESD）：让自教师生成 rollout，并依据任务正确性与上下文独立性获得环境反馈；一方面用这些奖励做面向教师的优化，另一方面据此估计指导可靠性，对不可靠样本降权做面向学生的自适应优化。作者报告在多数据集、多模型规模实验中，TESD 稳定优于代表性 token 级与序列级方法。

要点速读

1. 论文将 OPSD 训练后期收益停滞归因于自教师在部分样本上指导不可靠
2. TESD 让自教师生成 rollout，并以任务正确性和上下文独立性作为环境反馈奖励
3. 作者报告 TESD 在多个数据集和模型规模上优于代表性 token 级与序列级方法

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。