Block-GTQ按RoPE频块分配KV缓存精度，低比特下提升长上下文表现。
资讯摘要
论文提出Block-GTQ，利用旋转位置编码（RoPE）的二维频率分块来分配KV缓存中键的精度，并以分块logit误差上界推导出无需标注的query-key能量分数，再结合编解码器相关的码率惩罚做最大边际增益分配。作者以TurboQuant-MSE实例化，在十种模型配置上报告K-only诊断的层均logit绝对误差较均匀TQ-MSE降低约32–80%。
要点速读
- 方法基于RoPE频率分块分配缓存键精度，用无标签query-key能量分数与码率惩罚指导分配，并按等成本预算做最大边际增益选择。
- 在Llama-3.1-8B-Instruct的K2V2设置下，作者报告六任务NIAH均值从70.6升至97.4，LongBench-EN从33.7升至44.9。
- 在DeepSeek-R1-Distill-Qwen-7B的K3V2设置下，AIME 2024/2025 avg@8为49.6/38.8%，fp16为54.2/37.9%，均匀TQ-MSE两项均为零。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。