多草稿在线策略蒸馏改进扩散草稿模型

MDraft 用多草稿聚合验证器分布改进扩散草稿模型训练

资讯摘要

论文针对一步扩散草稿模型在在线策略蒸馏中的分布不匹配问题：草稿模型并行预测每个 token 时不观察同块内已采样的前序 token，而验证器以这些 token 为条件，导致同一预测对应不同验证目标，分别蒸馏会压制部分前缀下合理的 token。作者提出 MDraft，从同一上下文采样多个草稿块，聚合验证器在各前缀上的全词表条件分布作为训练目标，仅改训练、不改架构与推理流程。

要点速读

1. 论文指出并行草稿的在线策略蒸馏存在前缀条件不匹配，分别蒸馏会降低草稿接受率
2. MDraft 从同一上下文采样多个草稿块，聚合验证器全词表条件分布以构建训练目标
3. 在数学、代码与对话任务上，作者报告其接受长度优于既有蒸馏方法，且可直接替换预训练检查点

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。