KV压缩可保住答案准确率，却可能丢失推理链支撑。
资讯摘要
论文检验了KV缓存压缩中“保留最终答案即保留推理过程”的隐含假设，并在大型推理模型上发现该假设可能失效。作者采用固定推理轨迹回放协议，在数学推理、科学问答、临床计算和长上下文检索任务上评测了十种token淘汰式压缩方法和一种量化方法，测量最终准确率、答案链一致性与扰动忠实度。结果显示，token淘汰方法可维持有竞争力的最终答案准确率，却明显削弱推理链支撑或扰动忠实度，作者称之为“答案-证据差距”。
要点速读
- 论文提出固定轨迹回放协议，隔离压缩是否保留已有推理轨迹中的可用信息。
- 在三个模型、四类任务上评测十种token淘汰式KV压缩方法与一种量化方法。
- token淘汰方法可保持较高最终答案准确率，但答案链一致性与扰动忠实度明显下降；保留覆盖率的量化对照受影响较小。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。