多层索引器：DeepSeek 稀疏注意力中的重叠选择与注意力

MLI 复用相邻层索引器选择，免重训练加速 DSA 解码。

资讯摘要

论文提出多层索引器（MLI）：在 DeepSeek 稀疏注意力（DSA）中，相邻层选中的 token 高度重叠，因此每层可直接复用上一层索引器的选择结果，从而解除索引器扫描与注意力的依赖，使二者并发执行。MLI 无需重训练或新权重，默认实现不改内核，可运行在 SGLang 生产解码图中，并可与 IndexCache 组合。作者报告在 DeepSeek-V3.2 与 GLM-5 上解码更快，精度与 IndexCache 相差数个百分点。

要点速读

1. 论文指出 DSA 长上下文解码耗时主要来自每层前置的 lightning indexer 扫描，而非稀疏注意力本身。
2. MLI 让每层复用上一层索引器的选择，使索引器与注意力并发执行，无需重训练、无需新权重，默认实现不改内核。
3. 作者报告在 1/2 保留率下 DeepSeek-V3.2 快 14.5%、GLM-5 快 9.8%，LongBench、RULER 与 LongBench v2 精度与 IndexCache 相差数个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。