基于核插值的注意力上下文压缩方法

论文用核插值提出两种线性时间 KV-cache 压缩方法。

资讯摘要

论文将注意力上下文压缩问题置于核函数对应的希尔伯特空间中，把注意力表示为两个线性映射之比，并据此提出 GAIM 与 Q-DAIM 两种 KV-cache 压缩方法，分别基于 GEIM 和 Q-DEIM。由于原始方法开销随上下文长度呈二次增长，作者用 Taylor 级数、Performer 和 Random Fourier Features 构造代理模型，将压缩降至线性时间，并扩展到流式注意力场景。LongBench-E 上的初步结果显示性能与现有方法相当。

要点速读

1. 论文提出 GAIM 和 Q-DAIM 两种 KV-cache 压缩方法，分别基于 Generalized Empirical Interpolation Method 与 Q-Discrete Empirical Interpolation Method。
2. 为将二次开销降为线性，作者采用 Taylor 级数、Performer 和 Random Fourier Features 构造代理模型。
3. 作者报告在 LongBench-E 上的初步结果与现有方法性能相当，并称 Q-DAIM 揭示的范围有助于定位 KV cache 中的信息集中位置。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。