Fast KVzip：用门控KV淘汰实现高效LLM推理

门控KV淘汰最多压缩70%缓存且接近无损

资讯摘要

论文提出 Fast KVzip，一种面向冻结权重 LLM 的门控式 KV 缓存淘汰方法：引入轻量 sink-attention 门控模块识别并保留关键 KV 对，可接入 prefill 与解码阶段；门控训练仅依赖前向传播，无需反向传播，并以任务无关的重建目标提升泛化。作者报告在 Qwen2.5-1M、Qwen3、Gemma3 系列上最多淘汰 70% KV 缓存仍接近无损，长上下文理解、代码理解与数学推理任务结果一致。

要点速读

1. 方法用轻量 sink-attention 门控模块筛选关键 KV 对，可同时用于 prefill 和解码阶段。
2. 门控训练只依赖 LLM 前向传播，避免反向传播开销，并采用任务无关重建目标。
3. 作者报告在 Qwen2.5-1M、Qwen3、Gemma3 上最多淘汰 70% KV 缓存，性能接近无损。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。