小模型预测提交顺序,可无损加速扩散语言模型解码。
资讯摘要
论文提出 SPOT,一个仅 0.62M 参数的模型,只读取目标扩散语言模型的输出分布,预测下一批应提交的位置顺序,并给出候选续写树,由目标模型单次前向按状态相等性验证。作者报告在 SDAR-8B 上最多减少 6.8 倍目标前向次数、吞吐达标准解码的 3.4 倍,并可在六个 DLM 间迁移;配套的 SPOT-Sets 用于动态阈值解码,平均再提升 59% 吞吐。
要点速读
- SPOT 仅 0.62M 参数,读取目标模型输出分布来预测提交顺序并生成候选续写树,目标模型单次前向验证。
- 作者报告在 SDAR-8B 上最多减少 6.8 倍目标前向次数,吞吐最高为标准解码的 3.4 倍。
- SPOT 的学习式草稿器可跨六个 DLM 迁移;SPOT-Sets 在动态阈值解码上平均再提升 59% 吞吐。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20(北京时间)。