HISA：面向细粒度稀疏注意力的分层索引

HISA 用两阶段分层索引替代稀疏注意力的全量 token 扫描。

资讯摘要

论文提出 HISA（分层索引稀疏注意力），作为 DeepSeek Sparse Attention 等 token 级稀疏注意力中索引器的即插即用替代方案。它把原本对全部历史 token 的扁平扫描改为两阶段：先对池化后的块表示做粗筛，丢弃无关区域，再在保留块内用原索引器做 token 级精筛，保持下游 Sparse MLA 所需的 top-sparse 模式且无需额外训练。作者报告在 64K 上下文的内核基准上取得加速，并在 DeepSeek-V3.2 与 GLM-5 上直接替换索引器、不做微调，在 Needle-in-a-Haystack 与 LongBench 上质量接近原 DSA，优于块稀疏基线。

要点速读

1. HISA 将索引器的扁平 token 扫描改为块级粗筛加 token 级精筛的两阶段流程，无需额外训练。
2. 作者报告在 64K 上下文的内核基准上取得加速，并保持与下游 Sparse MLA 相同的 token 级 top-sparse 模式。
3. 在 DeepSeek-V3.2 和 GLM-5 上直接替换索引器且不微调，Needle-in-a-Haystack 与 LongBench 质量接近原 DSA，并优于块稀疏基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。