FlagRot：按需旋转的低比特 KV 缓存量化

FlagRot 按片段决定是否旋转键，降低低比特 KV 缓存误差。

资讯摘要

论文提出 FlagRot，指出旋转并非总有利于键量化：旋转会削平尖峰，也可能给平坦片段制造新峰值，且同一键内两种情况并存。方法对每个 32 通道片段按校准后的注意力误差决定是否旋转，读取时改为旋转查询；逐通道缓存每头一次决策、无写入开销，逐 token 缓存把选择存入现有符号位。作者报告 2.5 比特下 KIVI 十二模型 KL 散度从 18.7 降至 12.4×10^-3。

要点速读

1. FlagRot 对每个 32 通道键片段选择旋转或保持原样，以校准注意力误差较小者为准，并在读取时旋转查询。
2. 逐通道缓存（如 KIVI）每头只需一次决策且无写入成本；逐 token 缓存按键决策，选择存入现有符号位。
3. 作者报告 2.5 比特下 KIVI 十二模型 KL 散度由 18.7 降至 12.4×10^-3，12 个模型中 9 个优于 RotateKV；作为 vLLM 插件在 128k token 的 RULER 上提升 2.9 分。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。