dSpark：用调度蒸馏加速扩散语言模型

dSpark 用调度蒸馏让扩散语言模型更快并行解码。

资讯摘要

论文提出 dSpark，一种基于调度蒸馏的框架，用于学习扩散语言模型何时提交 token。作者先构造优先揭示能降低其他位置不确定性的 token 的 unmasking 调度，再将其蒸馏进模型以加快并行采样，并用 KL 散度正则项保持生成质量。作者报告在 GSM8K 上，LLaDA-8B-Instruct 和 Dream-7B-Instruct 分别相对多种基线取得 10.12 倍和 5.12 倍加速，同时任务表现更优。

要点速读

1. dSpark 通过调度蒸馏学习 token 提交顺序，优先揭示能让其他位置更易预测的 token。
2. 方法使用 KL 散度正则项，以在加速并行采样时保持生成质量。
3. 作者报告在 GSM8K 上相对多种基线分别取得 10.12 倍（LLaDA-8B-Instruct）和 5.12 倍（Dream-7B-Instruct）加速，代码已公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。