回到最新动态
研究论文 / THE SIGNAL

ValuSpec:树状推测解码的目标验证前候选估值机制

ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding

重要性 5.5 AI 辅助整理

ValuSpec 在验证前过滤候选树,报告最高 2.78 倍加速。

资讯摘要

论文提出 ValuSpec,一种即插即用的候选估值机制,在目标模型进行昂贵验证前,从候选树中过滤低质量分支。它通过基于迁移的监督使过滤行为对齐目标模型,并从校准集上目标模型的贪心轨迹估计过滤阈值,无需参数训练;过滤后的树在输出一致的贪心规则下验证,保证接受 token 与标准自回归解码完全一致。作者报告在 HumanEval、GSM8K、Dolly 和 SpecBench 上,检索式树设置最高 2.38 倍端到端加速,集成到 EAGLE-3 动态树框架最高 2.78 倍加速。

要点速读

  1. ValuSpec 在目标侧验证前过滤候选树中的低质量分支,以减少验证开销。
  2. 方法用迁移式监督对齐目标模型行为,阈值由校准集贪心轨迹估计,无需训练参数。
  3. 作者报告检索式树设置最高 2.38 倍、EAGLE-3 框架最高 2.78 倍端到端加速。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开