TableTune：面向动态投机解码的自校正草稿长度表

TableTune 用实测与在线校正替代手工草稿长度表。

资讯摘要

论文提出 TableTune，针对 vLLM 中按批大小手工设定草稿长度的表格缺乏测量与校正的问题。其调优器在 vLLM 服务路径上测量各批大小与草稿长度的解码耗时，数分钟内生成吞吐最优表；控制器作为 vLLM 插件在服务中跟踪猜测接受情况并重建表。作者报告在 H100 上，调优表在五种草稿器设置中的四种达到最佳固定长度吞吐的至少 94%，第五种为 88%。

要点速读

1. 调优器在 vLLM 自身服务路径上逐批大小、逐草稿长度计时，计算最大化吞吐的表。
2. 控制器为 vLLM 插件，依据线上流量中猜测被接受的数量在服务期间重建表。
3. 作者报告：H100 上四种草稿器设置达到最佳固定长度吞吐的至少 94%，第五种为 88%；MoE 模型上 vLLM 文档表最多损失 18%，调优表最多 3%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。