FAD-KV：面向高效推理解码的自适应字典KV缓存

FAD-KV 用筛选式稀疏编码与固定大小自适应字典压缩 KV 缓存。

资讯摘要

论文提出 FAD-KV，一种用于高效推理解码的快速自适应字典 KV 缓存框架。针对字典式稀疏 KV 压缩在解码时的两个问题——迭代稀疏编码带来额外开销、静态字典与生成中演变的 KV 分布不匹配，作者引入一次性 Top-n 筛选加轻量系数精修的稀疏编码方案，以及复用非活跃原子的固定大小字典自适应机制，避免字典在生成过程中无限增长。论文报告在推理与长上下文基准上取得较好的质量与效率权衡。

要点速读

1. 论文指出迭代稀疏编码（如正交匹配追踪）增加解码开销，静态字典可能与测试时演变的 KV 分布不匹配。
2. FAD-KV 采用一次性 Top-n 筛选候选池再做轻量系数精修，并用固定大小字典复用非活跃原子。
3. 作者报告在推理与长上下文基准上实现质量与效率的权衡，且解码时字典不会无界增长。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。