面向投机解码的验证感知训练框架 VAT

VAT 只改训练目标，作者报告投机解码接受长度最高提升 11.4%。

资讯摘要

论文提出 Verification-Aware Training（VAT），一种可插拔训练框架：在每步训练中模拟投机解码的顺序验证过程，将接受与拒绝模式转为监督信号。VAT 包含验证头（轻量二分类器，监督草稿模型各位置能否通过顺序验证）和验证自适应加权（权重保持到首个拒绝点后再衰减）。该方法只改训练目标，不改草稿架构、目标模型或推理流程。作者报告在 EAGLE-3 与 DFlash、Qwen3-4B/8B 和 LLaMA-3.1-8B 上，平均接受长度最高提升 11.4%，实际加速最高 8.7%。

要点速读

1. VAT 在训练中模拟顺序验证，用接受/拒绝模式监督草稿模型，并引入验证头与验证自适应加权两个组件。
2. 方法仅修改训练目标，可叠加在现有方法上，不改变草稿架构、目标模型和推理流程。
3. 作者报告在 EAGLE-3、DFlash 与 Qwen3-4B、Qwen3-8B、LLaMA-3.1-8B 上，平均接受长度最高提升 11.4%，实际加速最高 8.7%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。