KV缓存淘汰的打分深度比默认逐层自评更关键
资讯摘要
论文提出，KV缓存淘汰通常由各层自行打分，但打分层的深度会影响淘汰质量。作者在21个模型上发现，长上下文检索准确率在浅层骤降、在0.4至0.75深度处达到峰值、在最后一层下降；用校准提示选出打分层后，18个模型中有16个优于默认做法，在14B及以下模型上提升显著。
要点速读
- 在18个含逐层缓存的模型（0.5B至109B）上，长上下文检索准确率随打分深度呈先升后降的曲线，峰值位于0.4至0.75深度
- 用已知答案的校准提示选择打分层，在18个模型中16个优于各层自评的默认做法，其中7个提升显著，均为14B及以下
- 在14B及以下五个模型上，用选定层统一打分并让所有头共享一组token，在紧张预算下比逐头SnapKV高18至43分；LongBench开卷问答中未发现中层优于默认
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。