OpenAttention：用尾部代理实现1%稀疏注意力

论文用尾部均值代理替代采样，1% 读取保留 99% 稠密精度。

资讯摘要

论文提出 OpenAttention，针对稀疏注意力中未读取的 KV 缓存尾部，用单个“计数感知均值”代理替代采样或丢弃，并给出闭式分析说明低读取率下采样的权重误差接近丢弃的两倍。方法包含免训练的 Query-Geometry Clustering 与 Query-Geometry Selector，以及按估计权重误差分配读取量的 ErrorGate。作者报告在 RULER-32K HARD 上以 Llama-3.1-8B 保留 99% 稠密精度，自研内核 OpenAttention.flash 在 1% 读取下解码阶段快 10 倍。

要点速读

1. 论文观察到：将整个尾部折叠为计数感知均值的单代理，输出误差低于采样，并给出低读取率下采样权重误差接近丢弃两倍的闭式结论。
2. OpenAttention 流程为聚类、ErrorGate、top-k 选择，再接计数感知均值代理；QGC 与 QGS 免训练，按查询方向压缩和选择键。
3. 作者报告 RULER-32K HARD 上 Llama-3.1-8B 在 1% 读取保留 99% 稠密精度，OpenAttention.flash 解码阶段快 10 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。