免训练KV缓存方法让扩散语言模型推理提速最高26.4倍。
资讯摘要
论文提出 EntropyCache，一种免训练的 KV 缓存方法，用于扩散语言模型（dLLM）。该方法以新解码 token 分布的最大熵作为恒定开销信号，判断何时重算缓存，并基于熵与缓存漂移相关、解码 token 特征波动持续多步的观察，重算最近解码的 k 个 token。作者报告在 LLaDA-8B-Instruct 与 Dream-7B-Instruct 上取得 15.2×–26.4× 加速，决策开销约占推理时间 0.5%。
要点速读
- 方法免训练，每步决策仅需 O(V) 计算，不随上下文长度或模型规模增长。
- 作者报告标准基准加速 15.2×–26.4×，思维链基准 22.4×–24.1×，精度具竞争力。
- 代码已开源于 github.com/mscheong01/EntropyCache。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。