论文首次将投机解码用于扩散策略,报告最高 3.2 倍实际加速。
资讯摘要
论文指出扩散策略(DP)推理受 I/O 瓶颈限制,首次将投机解码用于 DP 加速,提出 TS-DP 框架:蒸馏 Transformer 草稿模型替代高成本去噪调用,并用强化学习调度器按任务难度动态调整投机参数。作者报告仿真中 NFE 最多降低 4.17 倍、实际耗时加速 3.2 倍,草稿接受率超 85%;真实实验中 NFE 降低 3.8 倍,传送带任务成功率提升 23%,推理频率达 26 Hz。代码已开源。
要点速读
- 论文揭示扩散策略属于 I/O 受限而非计算受限,据此引入投机解码加速。
- TS-DP 用蒸馏的 Transformer 草稿模型加 RL 调度器,按任务难度动态分配计算。
- 作者报告仿真 NFE 降 4.17 倍、耗时加速 3.2 倍;真实实验 NFE 降 3.8 倍、传送带任务成功率提升 23%、达 26 Hz。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。