首个端到端训练的 KV 缓存编解码器 DCKV 被提出。
资讯摘要
论文提出 DCKV，一种面向混合语言模型 KV 缓存的可微编解码器，作者称其为首个端到端训练的 KV 缓存编解码器。其变换、量化器与熵模型以提示词元和已解码相邻位置为条件，并针对冻结语言模型联合优化码长与输出变化。作者报告在 Qwen3.5-2B 上，压缩后每 token 字节数比 bf16 少 55 倍以上，三项长上下文基准最多损失 1.8 分；字节数少 100 倍以上时最多损失 3.6 分。
要点速读
- DCKV 的变换、量化器和熵模型与冻结语言模型联合端到端训练。
- 熵模型以提示词元和已解码相邻位置为条件。
- 在 Qwen3.5-2B 上，作者报告压缩至 bf16 的 1/55 以下时三项长上下文基准最多降 1.8 分。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。