提前用代理查询选KV，可提升长上下文解码吞吐
资讯摘要
论文提出 EarlySelectKV，一种免训练改造：利用较早隐藏状态产生的代理查询，提前预计算稀疏 KV 选择索引，最终注意力仍使用目标层真实查询。作者报告在 RocketKV、Quest、Loki 上未观察到一致的性能下降；在 RocketKV 主评测中，LongBench 相差 +0.018 分、RULER 约 -0.01 分、NIAH/Passkey 提升 0.25 个百分点；TensorRT-LLM 部署下吞吐最高提升 12.4%，GPU 常驻内存减少 11.1%。
要点速读
- 方法用早期隐藏状态的代理查询预计算 KV 索引，最终注意力仍用目标层真实查询，属于免训练改造。
- 作者报告在 RocketKV、Quest、Loki 上未出现一致的性能下降模式。
- TensorRT-LLM 部署中，ES-RocketKV 端到端吞吐最高提升 12.4%，GPU 常驻内存减少 11.1%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。