论文用全去噪轨迹指导扩散语言模型稀疏解码。
资讯摘要
论文针对扩散大语言模型（dLLM）迭代掩码去噪中重复计算带来的推理开销，提出以解码轨迹而非表示误差为核心：缓存生成只要贴近全去噪轨迹就更准确，误差集中在解掩码顺序偏差上。据此作者提出 TRACEQUERY 轻量稀疏解码框架，预测少量近期轨迹相关位置并只对这些候选做新计算，由主干模型从中选择提交。作者报告其在缓存类方法中取得最佳质量—计算权衡，并在任务、模型变体与模型家族间泛化。
要点速读
- 论文将高效 dLLM 推理表述为轨迹引导的查询问题，用全去噪轨迹监督哪些未解析位置需要新计算。
- TRACEQUERY 预测少量近期轨迹相关位置，仅查询这些候选，再由主干模型从新预测中选择提交。
- 作者报告该方法在缓存类方法中质量—计算权衡最强，并跨任务、模型变体与模型家族泛化；代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。