HybridSpec为GDN-MoE混合模型动态选择验证长度以加速投机解码。
资讯摘要
论文提出HybridSpec，针对结合Gated DeltaNet（GDN）与MoE层的混合目标模型优化投机解码。作者指出，此类模型的验证耗时随验证长度增长远快于稠密模型，在Qwen3.6-35B-A3B单请求测试中，长度从4增至16时耗时增加71%。HybridSpec在GPU上依据草稿端接受率估计与实测目标延迟选择验证长度，并在首个MoE路由处用轻量路由修正决定是否保留额外token；块并行GDN内核避免逐token存储状态并一次性重建接受状态。作者报告在三个GDN-MoE目标模型上，单请求贪心解码比自回归快1.75×-1.88×，比DFlash快1.30×-1.33×。
要点速读
- 论文指出混合GDN-MoE目标模型的验证耗时随验证长度增长远快于稠密模型，Qwen3.6-35B-A3B从长度4到16增加71%。
- HybridSpec在GPU上根据草稿端接受估计和实测目标延迟选择验证长度，并在首个MoE路由处做轻量路由修正。
- 作者报告块并行GDN内核在长度4至16下比默认内核快1.54×-4.04×，端到端比自回归快1.75×-1.88×。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。