免训练稀疏注意力在 512K 上下文预填充提速约 2.3–2.4 倍。
资讯摘要
论文提出一种免训练稀疏注意力方法，为每个提示构建键索引，将键聚类成跨非连续位置的大语义块；查询按块质心打分选块，再对块内原始键值做注意力，并合并选择相同块的查询以加速预填充。作者在单张 NVIDIA H200 上测试 Qwen3.5-4B 与 35B-A3B，报告 512K 上下文下预填充提速 2.3–2.4 倍、解码 1.7–2.0 倍，1M 时预填充 2.9–3.0 倍。
要点速读
- 方法免训练，按提示构建键索引，将键聚类为跨非连续位置的大语义块，查询按质心打分选块。
- 选择相同块的查询被合并处理，使预填充在每查询自选块时仍保持较快。
- 作者报告 35B-A3B 在 RULER、LongBench-v2、MRCR 上接近稠密注意力；4B 模型主要在多键检索上掉点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。