Latent-Condensed Attention：在MLA潜空间压缩长上下文

论文提出在 MLA 潜空间联合压缩计算与 KV 缓存的方法 LCA。

资讯摘要

论文提出 Latent-Condensed Attention（LCA），直接在 MLA 的低维潜空间中压缩上下文：将表示拆分为语义潜向量与位置键，前者用查询感知池化聚合，后者用锚点选择保留，从而在不增加参数的情况下同时降低计算量与 KV 缓存。作者报告在 128K 上下文下预填充最高加速 2.5 倍、KV 缓存减少 90%，并给出与长度无关的误差界。

要点速读

1. LCA 在 MLA 潜空间内压缩上下文，语义向量用查询感知池化聚合，位置键用锚点选择保留。
2. 作者报告 128K 上下文下预填充最高 2.5 倍加速、KV 缓存减少 90%，性能保持竞争力。
3. 论文证明长度无关的误差界，并称该设计可扩展到 GQA 等其他注意力机制。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。