Soft-MTP：修正多Token预测梯度

一行代码改动即可去除MTP梯度噪声并提升各规模表现

资讯摘要

论文指出标准多Token预测（MTP）训练存在缺陷：MTP交叉熵梯度可分解为KL自蒸馏项与低信噪比残差项，后者随规模增大干扰下一Token与多Token学习。作者提出KL梯度恢复技巧，在共享线性输出头时通过直通梯度路由精确恢复KL梯度，由此实现Soft-MTP——仅一行代码改动，复用现有NTP与MTP交叉熵计算，只回传KL自蒸馏信号，不增加参数与可测开销。

要点速读

1. 论文将MTP交叉熵梯度精确分解为KL自蒸馏项和低信噪比残差项，残差会掩埋有用信号且随规模加剧
2. 提出KL梯度恢复技巧，无需词表大小的logit矩阵，兼容标准融合交叉熵内核
3. Soft-MTP在167M至1.2B参数上均优于标准MTP：NTP困惑度更低、投机解码更快、零样本准确率更高，1.2B微调后数学与代码推理更强

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:16（北京时间）。