投机解码的能耗核算：只计被接受token

论文实测投机解码的能耗节省取决于接受率与批大小

资讯摘要

论文在生产级服务条件（SGLang、启用CUDA graphs）下，于H100和H200 GPU、最高64批大小、5个语料上测量投机解码的能耗。作者报告：稠密模型上验证而非起草主导能耗；节省随批大小增大而缩小，大batch下block drafter使验证进入计算受限区间，节省转为亏损；低接受率drafter会抬高每token能耗。

要点速读

1. 论文在SGLang、CUDA graphs开启的生产条件下，用H100/H200、批大小至64、5个语料测量投机解码能耗。
2. 作者报告稠密模型上验证主导能耗成本，节省随批大小增大而缩小，大batch下block drafter使验证进入计算受限区间、节省变亏损。
3. 所有评估的drafter在对话上接受token数少于代码，在低资源语言Romansh上少于英语；更紧的延迟目标下用投机解码会额外耗能。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。