SetCommit：少步扩散语言模型解码的协同 token 提交

无需训练的协同 token 提交方法提升少步扩散语言模型解码质量与速度。

资讯摘要

论文提出 SetCommit，一种无需训练的扩散语言模型并行 token 提交方法。它不再按置信度独立选 token，而是选出兼顾可靠性与局部联合提交风险的提交集合，并为后续去噪保留条件信息；同时进行预算中性的局部交换，用新上下文替换较脆弱的早期提交。作者报告在 LLaDA-8B 与 Dream-7B 上，GSM8K、MATH-500、MBPP、HumanEval 的准确率/pass@1 最高提升 7.4 个百分点，常见质量目标下几何平均加速 1.44–1.74 倍，代码已公开。

要点速读

1. SetCommit 是无需重训练、无需改架构的协同并行 token 提交方法，兼容现有扩散解码策略。
2. 作者报告在 LLaDA-8B 和 Dream-7B 上，32 次模型评估时准确率/pass@1 较原生解码最高提升 7.4 个百分点。
3. 作者报告常见质量目标下几何平均增量加速为 1.44–1.74 倍，代码已在 GitHub 公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。