δMDM通过可纠错的插入式扩散解码提升速度与质量
资讯摘要
论文提出δMDM，在插入式掩码扩散模型中加入替换与删除操作，使中间生成结果可被修正。训练时让模型接触激进解码产生的错误并学习纠正；推理时交错进行插入、解掩码与纠错步骤。作者报告其在OpenWebText无条件生成上生成困惑度较FlexMDM减半，在TinyGSM条件生成上以一半NFEs达到与FlexMDM相当的准确率。
要点速读
- δMDM为插入式掩码扩散模型增加替换和删除操作，使已解掩码的token可被修正、多余掩码可被移除。
- 训练阶段让模型接触激进解掩码与插入造成的错误，学习自我纠正。
- 作者报告在OpenWebText上最高推理预算下生成困惑度较FlexMDM减半，在TinyGSM上以一半NFEs匹配FlexMDM准确率。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。