LISA：线性索引稀疏注意力加速长上下文推理

LISA 以线性索引稀疏注意力替换自注意力，报告延迟降 23.9%。

资讯摘要

论文提出 LISA（Linear-Indexed Sparse Attention），一种无需完整预训练即可替换自注意力的即插即用方案。它把线性注意力分支与 Lightning Indexer 动态选出的稀疏注意力分支经学习门控融合，分两阶段从冻结教师模型蒸馏训练。作者报告在 DeepSeek 蒸馏的 Qwen 模型上，16K 上下文时 eager 模式平均样本延迟降低 23.9%，长上下文推理质量未下降；LISA-1.5B 在九项数学与代码基准的等权平均上较全注意力基线提升 4.2 个百分点。

要点速读

1. LISA 由线性注意力分支与 Lightning Indexer 选择的稀疏注意力分支组成，通过学习门控融合。
2. 训练分两阶段：先结合滑动窗口注意力从冻结教师全注意力分布蒸馏，再用逐头 KL 散度目标训练索引器。
3. 作者报告 16K 上下文下 eager 模式平均样本延迟降低 23.9%，LISA-1.5B 在九项数学与代码基准等权平均提升 4.2 个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。