目标模型重写数据后，草稿训练目标的增益明显缩小。
资讯摘要
论文研究投机解码中草稿模型训练目标的收益是否在目标模型重写数据后仍成立。作者用视觉语言目标模型和块状草稿器，在四版语料上比较交叉熵、token级蒸馏和经校验门控的蒸馏三种目标。结果显示，蒸馏与门控在外部撰写回复上增益明显，但经贪心重生成后蒸馏增益变小、门控几乎无增益；该收缩在数据顺序、位置权重、验证器、解码温度及蒸馏的初始化与学习率下均存在，文本复现与自回归草稿器也出现类似现象。
要点速读
- 论文比较交叉熵、目标模型token级蒸馏、仅保留可通过校验位置的蒸馏三种草稿训练目标。
- 在外部撰写回复上蒸馏和门控增益大，但目标模型贪心重生成后蒸馏增益缩小、门控增益很小或没有。
- 收缩现象在多种数据顺序、位置权重、验证器、解码温度下持续，文本复现和自回归草稿器也出现。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。