仅给MTP草稿头加窗口，长上下文投机解码提速1.28–1.44倍。
资讯摘要
论文指出，长上下文下混合注意力目标模型搭配全注意力MTP草稿头时，草稿头每步需对完整KV缓存做多次前向，开销可与整个目标模型相当，在低接受率任务上甚至比不投机更慢。作者提出Windowed-MTP，仅对草稿头施加StreamingLLM式窗口与注意力汇，目标验证仍保持全上下文，无需训练即可替换。作者报告在两个混合模型家族的三个模型、1M上下文、单GPU SGLang环境下，每解码步较原生MTP提速1.28–1.44倍，并回收7.7–11.1%的KV空间。
要点速读
- 论文指出全注意力MTP草稿头在长上下文下开销可能接近整个混合目标模型，低接受率时投机解码净收益为负。
- Windowed-MTP仅对草稿头加窗口和注意力汇，目标验证保持全上下文，训练无关、可直接替换。
- 作者报告在Gated DeltaNet与Mamba2两家族三个模型、1M上下文下单GPU测得每解码步1.28–1.44倍提速，并回收7.7–11.1%总KV。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。