DLoop 用多阶段起草减少目标模型前向次数,报告提速 5%–41%。
资讯摘要
论文提出 DLoop,一种循环式投机解码方法:在验证前自适应执行多个起草阶段,只要草稿模型保持置信就继续起草,最后统一验证累积的草稿 token。作者用 loop-aware 训练让草稿模型在额外起草阶段接触自身对未验证 token 的隐藏状态以保持可靠。论文报告在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上,实际耗时加速提升 5% 至 41%,且保持无损解码。
要点速读
- DLoop 在验证前循环执行多个起草阶段,草稿模型置信时继续起草,再统一验证累积 token。
- loop-aware 训练让草稿模型接触未验证草稿 token 的自身隐藏状态,以维持后续阶段可靠性。
- 论文报告在 EAGLE-3、DFlash、Domino、DSpark 和多 token 预测模块上实际耗时加速提升 5%–41%,并保持无损解码。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。