扩散语言模型的KV缓存量化研究

论文提出dLLM-KVQ，针对扩散语言模型缓存复用误差做KV量化

资讯摘要

论文研究扩散语言模型（dLLM）在快速推理中复用KV缓存时的量化问题：双向表示随掩码token揭示而变化，复用缓存本身已偏离完整重算。作者将KIVI与KVQuant适配到Fast-dLLM式前缀与双缓存复用，并提出TRACE与dLLM-KVQ。TRACE从提示-答案对重建可行的揭示轨迹用于校准；dLLM-KVQ据此按层选择保持高精度的K缓存条目，V缓存用标准低比特量化。在LLaDA与Dream上对GSM8K、HumanEval、MATH、MBPP的评测中，dLLM-KVQ在报告的4比特与2比特设置下平均分最高。

要点速读

1. 论文指出dLLM复用KV缓存时，双向表示随掩码token揭示而变化，缓存复用误差在量化前已存在
2. 作者将KIVI、KVQuant适配到Fast-dLLM式前缀与双缓存复用，并提出TRACE与dLLM-KVQ
3. 在LLaDA与Dream的GSM8K、HumanEval、MATH、MBPP评测中，dLLM-KVQ在4比特和2比特设置下平均分最高

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。