Step-dLLM：面向扩散LLM推理的自适应步感知稀疏注意力

Step-dLLM 用步感知稀疏注意力让扩散 LLM 推理提速 2.78 倍。

资讯摘要

论文提出 Step-dLLM，针对扩散大语言模型（dLLM）双向注意力无法使用 KV 缓存、每步重算全注意力的问题，改为在去噪轨迹的锚点步周期性刷新块稀疏掩码，并在局部一致区间内复用，同时按注意力集中程度为各头分配自适应预算。作者报告该方法无需重训即可用于 LLaDA-1.5 与 Dream-7B-Instruct，在 8K 上下文、256 步去噪、90% 稀疏度下相对稠密 FlashAttention 取得 2.78 倍端到端加速。

要点速读

1. 论文指出 dLLM 注意力模式仅在相邻步局部一致、并在某些转换处突变，且不同注意力头的集中程度差异明显。
2. Step-dLLM 在锚点步刷新块稀疏掩码、区间内复用，并采用头自适应全局预算，配套 IO 感知的 Triton 融合核。
3. 作者报告在 LLaDA-1.5 上 8K 上下文、256 步、90% 稀疏度下相对稠密 FlashAttention 加速 2.78 倍，并改善精度-延迟权衡。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。