EchoKV：基于相似性重建的高效 KV 缓存压缩

EchoKV 可按需在完整与压缩 KV 缓存间切换。

资讯摘要

论文提出 EchoKV，一种可灵活切换的 KV 缓存压缩框架，支持在显存充足时按需从压缩缓存切回完整缓存。它不采用传统压缩-解压流程，而是用轻量网络从部分子集重建被丢弃的 KV 分量，利用注意力头之间的层间与层内相似性；作者还给出两阶段轻量微调策略，称在单张 A100 上对 Llama-3.1-8B 仅需数分钟。LongBench 与 RULER 实验显示其在多种压缩比和骨干模型下取得有竞争力的质量-缓存权衡，并在短上下文场景保持完整缓存推理的吞吐。

要点速读

1. EchoKV 用轻量网络从部分 KV 子集重建被丢弃分量，利用注意力头的层间与层内相似性。
2. 作者报告两阶段微调在单张 A100 上对 Llama-3.1-8B 仅需数分钟。
3. LongBench 和 RULER 结果显示多种压缩比与骨干模型下质量-缓存权衡有竞争力，短上下文保持完整缓存吞吐。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。