RIFT：面向草稿模型的 KV 缓存压缩方法

RIFT 用生成中刷新 KV 选择与可压缩性训练提升草稿模型压缩缓存质量。

资讯摘要

论文提出 RIFT，一类基于选择的 KV 缓存压缩策略，用于投机解码中的草稿模型。作者指出，只关注 prefill 信息的压缩方法会随输出变长而失效，称之为 decode staleness，并会降低草稿模型准确率。RIFT 在生成过程中刷新 KV 选择，并提出自适应刷新策略以减少打分开销；同时用基于稀疏注意力掩码的可压缩性训练提升压缩缓存下的草稿质量。作者报告，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K 输入、4K 输出、8K KV 预算下保留超过 98% 的全缓存接受长度。

要点速读

1. 论文提出 decode staleness 现象：仅基于 prefill 信息的 KV 压缩会随输出增长而降低草稿模型准确率。
2. RIFT 在生成中刷新 KV 选择，并用自适应刷新策略减少打分计算以控制额外解码延迟。
3. 作者报告，结合可压缩性训练后，Qwen3.5-4B 在 32K 输入、4K 输出、8K KV 预算下保留超过 98% 的全缓存接受长度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。