AttentionIndex：用因果倒排索引加速学习型稀疏注意力

倒排索引路由让稀疏注意力选择更快且召回更高。

资讯摘要

论文提出 AttentionIndex，针对学习型稀疏注意力中索引器需为前缀内每个 key 打分、长上下文下选择开销过大的问题，改用按相似度对索引器 key 分组的倒排文件索引来路由查询，再用原生索引器分数精排候选。索引在 prefill 阶段构建，新 key 可立即检索，并复用已有聚类降低维护成本，且每个查询只看到由自身前缀构建的簇。作者报告在 GLM-5.3 与 DeepSeek-V4-Flash 上、一百万 token 时，prefill 吞吐为穷举选择的 1.3–1.8 倍。

要点速读

1. 论文称在 GLM-5.3 和 DeepSeek-V4-Flash 一百万 token 场景下，AttentionIndex 的 prefill 吞吐是穷举选择的 1.3–1.8 倍。
2. 在与 HiSA 吞吐相差 5% 以内时，作者报告其分别多找回 17.0 和 10.0 个百分点的穷举 top-k。
3. 相同候选预算下，长上下文基准准确率较 HiSA 最高提升 18.4 个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。