GRKV：面向长上下文 LLM 的无训练 KV 缓存压缩全局回归方法

GRKV 用岭回归合并 KV 缓存，在长上下文基准上以极小开销提升性能。

资讯摘要

论文提出 GRKV，一种无需训练的 KV 缓存合并方法，用于长上下文大模型。作者指出，基于跨度保留的淘汰策略与淘汰后合并结合时，合并会集中到少量跨度边界承载 token 上，造成合并不均衡与信息损失。GRKV 直接最小化压缩缓存与完整缓存注意力输出的差异，用岭回归式合并步骤把被淘汰 token 的信息分散到保留 token，并正则化更新以防过度平滑。作者报告在 LongBench 与 RULER 上，GRKV 是唯一以极小开销提升整体性能的合并方法，代码已公开。

要点速读

1. 论文指出跨度保留加淘汰后合并会使合并集中于跨度边界 token，加剧过度合并与信息损失。
2. GRKV 用岭回归式合并步骤将淘汰 token 信息分散到保留 token，并正则化更新以避免过度平滑。
3. 作者报告在 LongBench 和 RULER 上，GRKV 是唯一以极小开销提升整体性能的合并方法，代码已开源。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。