将注意力偏置折叠进键，使压缩 KV 缓存可跑标准内核

把 AM 偏置折叠进键后，未改 vLLM 可直接服务压缩缓存。

资讯摘要

论文关注 Attention Matching（AM）压缩 KV 缓存时需为每个保留键的 logit 加偏置，而 FlashAttention 与 vLLM 分页缓存无对应输入的问题。作者提出按每个头一个闭式方向、用上下文查询拟合，把偏置折叠进键，得到尺寸与头维度同 AM、沿用模型自身查询路径的普通缓存，输出误差受查询在该方向投影偏离 1 的程度约束。作者报告未改动的 vLLM 经 KV connector 服务折叠缓存，在 Qwen3-4B 全部 51 题上与 Hugging Face 答案一致，Qwen3-14B 的 200 条 LongBench 样本中 180 条贪心输出一致。

要点速读

1. 方法：将 AM 的每键 logit 偏置沿每个头一个闭式方向折叠进键，用上下文查询拟合，输出误差由查询投影偏离 1 的程度界定。
2. 作者报告未修改的 vLLM 通过 KV connector 服务折叠缓存，Qwen3-4B 的 51 题答案与 Hugging Face 一致，Qwen3-14B 的 200 条 LongBench 样本中 180 条贪心输出一致。
3. 等预算下 QuALITY（Qwen3-1.7B/4B/8B、Llama-3.1-8B）与 LongHealth（三个 Qwen3 模型）中，14 个设置里 13 个与 AM 精度在噪声范围内；12 个两者都运行的设置中，折叠版对全缓存的 KL 更低。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。