GAAC：面向个人设备的无损 KV 压缩

GAAC 以无损方式压缩 BF16 KV 缓存并加速长上下文解码。

资讯摘要

论文提出 Group-Adaptive Additive Codec（GAAC），一种无损 KV 压缩与服务系统，利用 BF16 指数冗余，按通道校准基值加偏移编码，并在小分组内自适应码宽，保持 KV 数值逐位不变。配套融合注意力内核在读取时重建 KV 分块，避免整缓存解压，并支持分页与增量更新。作者报告在五个模型上实现 1.405–1.407 倍无损压缩，DGX Spark 上 64K 上下文解码注意力加速 1.19–1.27 倍。

要点速读

1. GAAC 用校准的逐通道基值加偏移码编码 BF16 指数，分组自适应码宽，KV 值逐位无损。
2. 融合注意力内核按需重建 KV 分块，配合块级压缩与固定容量槽位支持增量更新和分页服务。
3. 作者报告五个模型上 1.405–1.407 倍无损压缩；DGX Spark 上 64K 上下文解码注意力加速 1.19–1.27 倍，常驻 KV 内存约降 26%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。