论文提出潜在稀疏注意力，在 10M token 下显著提速且精度相近。
资讯摘要
论文提出潜在稀疏注意力（LSA），在学习的潜在空间中对键进行层次聚类，让查询只对聚类层次打分而非逐键打分，从而降低超长上下文下预填充、解码与训练成本。作者报告两种变体：蒸馏版 D-LSA 与原生训练版 N-LSA。在 GLM-5.3-FLASH（QWEN-3.8-27B）10M token 场景下，D-LSA 单层预填充提速 22.7 倍、解码提速 4.6 倍，精度相近。
要点速读
- LSA 将键在学习到的潜在空间中层次聚类，查询对聚类层次打分，避免逐键计算。
- D-LSA 通过蒸馏应用于预训练模型；N-LSA 仅用下一 token 损失原生训练。
- 作者报告在 GLM-5.3-FLASH（QWEN-3.8-27B）10M token 下，D-LSA 单层预填充提速 22.7 倍、解码提速 4.6 倍，多任务精度相近。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。