LLM 预训练蒸馏未必需要强教师

论文称预训练蒸馏中弱教师也能提升大模型，更强教师未必更好。

资讯摘要

一篇 arXiv 论文考察大语言模型预训练中的知识蒸馏，通过改变模型架构规模与训练 token 预算，构造强到弱、同级、弱到强三类师生关系。作者报告：适当混合语言建模损失与蒸馏损失后，小型且训练不足的教师也能提升更大的学生模型；而教师继续变强（更多参数或更多 token）时，蒸馏收益会饱和甚至反转。论文还观察到蒸馏更易改善分布外与下游表现，而非域内拟合。

要点速读

1. 论文设置强到弱、同级、弱到强三类师生关系，比较蒸馏效果。
2. 作者报告：混合语言建模与蒸馏损失后，小型、训练不足的教师也能提升更大的学生。
3. 作者报告：教师继续增强（更多参数或 token）会使蒸馏收益饱和甚至反转，且蒸馏更易改善泛化而非域内拟合。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。