回到最新动态
研究论文 / THE SIGNAL

SPOT:用提交顺序预测加速扩散语言模型

On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

重要性 5.5 AI 辅助整理

小模型预测提交顺序,可无损加速扩散语言模型解码。

资讯摘要

论文提出 SPOT,一个仅 0.62M 参数的模型,只读取目标扩散语言模型的输出分布,预测下一批应提交的位置顺序,并给出候选续写树,由目标模型单次前向按状态相等性验证。作者报告在 SDAR-8B 上最多减少 6.8 倍目标前向次数、吞吐达标准解码的 3.4 倍,并可在六个 DLM 间迁移;配套的 SPOT-Sets 用于动态阈值解码,平均再提升 59% 吞吐。

要点速读

  1. SPOT 仅 0.62M 参数,读取目标模型输出分布来预测提交顺序并生成候选续写树,目标模型单次前向验证。
  2. 作者报告在 SDAR-8B 上最多减少 6.8 倍目标前向次数,吞吐最高为标准解码的 3.4 倍。
  3. SPOT 的学习式草稿器可跨六个 DLM 迁移;SPOT-Sets 在动态阈值解码上平均再提升 59% 吞吐。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开