LoopVQ：面向循环 Transformer 的亚 1-bit KV 缓存量化

LoopVQ 利用循环步间冗余压缩 KV 缓存至 0.5 bit/元素以下。

资讯摘要

论文提出 LoopVQ，一种针对循环 Transformer 的 KV 缓存向量量化方法。作者观察到循环模型的 KV 缓存沿循环轴高度冗余，且不同循环步对量化敏感度差异明显，因此将多个循环步的通道联合编码，并微调码本以对齐全精度模型输出。论文报告在 0.5 bit/元素下优于现有面向标准 LLM 的 KV 缓存向量量化方法，与 TaSQ 结合后在 0.25 bit/元素仍保留较多 BF16 精度。

要点速读

1. 论文指出循环 Transformer 的 KV 缓存随循环步数线性增长，成为主要内存瓶颈。
2. LoopVQ 联合编码多个循环步的通道并微调码本，在 Ouro 与 Huginn 模型上测试。
3. 作者称在 SGLang 中实现后，32K 上下文解码延迟近乎减半，1.4B 与 2.6B Ouro 模型峰值服务吞吐分别最高提升 4.3 倍和 6.1 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。