按距离分配注意力维度：DAR 压缩 KV 缓存

论文按 token 距离分配注意力维度以压缩 KV 缓存

资讯摘要

论文提出 Distance-Adaptive Representation（DAR）：在局部窗口内保留全维度的 Key/Value，窗口外 token 使用降维表示（如 1/2 或 1/4）。作者报告在 70M–410M 参数预训练及 1B 模型继续监督微调中，性能接近全维基线；而所有位置统一降维则效果更差。作者还给出高效实现，称在 8K 上下文下平均 KV 缓存减少 68.8%，128K 上下文解码最高加速 1.9 倍。

要点速读

1. DAR 在局部窗口保留全维 Key/Value，窗口外 token 用降维表示
2. 70M–410M 预训练与 1B 模型继续微调中性能接近全维基线，统一降维则更差
3. 作者报告 8K 上下文 KV 缓存平均减少 68.8%，128K 解码最高加速 1.9 倍

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。