SpecPilot 自动为投机解码发现优化，作者报告加速比大幅提升。
资讯摘要
论文提出 SpecPilot，一个自主智能体循环，针对不同部署自动发现投机解码的算法与系统优化。作者指出并行草稿系统存在单请求每步接受 token 少、批处理下验证开销削减加速比、优化方案依赖具体部署三方面问题。SpecPilot 通过成本模型定位差距、并行智能体探索、token forcing 检测奖励作弊，并发现 12 位权重格式、树验证等机制。作者报告在四个目标模型、三个草稿器、两种 GPU 和五个基准上，单请求加速比从 4.46 倍升至 10.87 倍，批处理从 1.94 倍升至 3.93 倍，且无需训练、无质量损失。
要点速读
- 论文提出自主智能体循环 SpecPilot，为每个部署自动发现投机解码的算法与系统优化。
- 作者报告发现通用无损 12 位权重格式、面向混合循环目标的树验证、两级验证和三种批处理机制。
- 作者报告在四个目标模型、三个草稿器、两种 GPU 平台和五个基准上，单请求加速比由 4.46 倍升至 10.87 倍，批处理由 1.94 倍升至 3.93 倍，无需训练且无质量损失。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:36（北京时间）。