BasisKV：用值潜变量压缩 KV 缓存并降低张量并行通信

BasisKV 用低秩 Value 表示同时压缩 KV 缓存并降低张量并行通信。

资讯摘要

论文提出 BasisKV，一种面向通信密集型长上下文 LLM 推理的低秩 KV 缓存压缩方法。作者观察到张量并行下的通信开销是部署低秩压缩的重要成本，且 Value 压缩可与输出投影关联，使同一低秩 Value 表示同时降低 Value 缓存宽度和通信量。BasisKV 跨各 GPU 注意力分区联合优化低秩因子，并复用压缩后的 Value 缓存辅助 Key 页路由。作者报告在多个模型家族和系统设置下取得更优质量—效率权衡，8 GPU 张量并行下端到端加速最高 1.42 倍，代码已开源。

要点速读

1. 论文指出张量并行通信是分布式推理中部署低秩 KV 缓存压缩的重要成本。
2. BasisKV 将 Value 压缩与输出投影关联，用同一低秩表示同时缩减 Value 缓存宽度和通信量。
3. 作者报告 8 GPU 张量并行下最高 1.42 倍端到端加速，代码已在 GitHub 公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。