LoopKV按循环与层分配KV精度，减少存储并提升服务吞吐。
资讯摘要
论文提出LoopKV，针对Ouro等循环Transformer按循环分别维护KV缓存的场景，用一次性离线分析为每个（循环、层）单元选择4位存储、2位存储或复用末轮KV，并在vLLM中以单个融合内核执行。作者报告在单张RTX PRO 6000上服务Ouro-1.4B时，内存优化方案比统一4位量化少存35%的KV，在延迟SLO下吞吐为KIVI-4的1.7–2.2倍。
要点速读
- 测量显示量化敏感度随（循环、层）单元变化，各单元损伤之和近似整体输出损伤；后段循环通常更能容忍共享。
- LoopKV用离线profile规划每单元的4位、2位或复用末轮KV，解码时按注意力权重按需读取4位值的低2位。
- 在Ouro-1.4B、16K最大长度下，LoopKV-M比KIVI-4少存35% KV，吞吐为1.7–2.2倍，六个公开基准均值未显著低于BF16。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。