目标概率在树分配前可用可提升投机解码效率
资讯摘要
论文研究投机解码中目标模型并行验证草稿令牌树后得到的下一令牌分布，能否用于选择下一轮的树。作者指出，对无限制目标模型，要保证精确复用，需在下一轮完整上下文上重新计算分布；并刻画了保留该分布需牺牲已接受令牌的条件。在六个目标模型上，用当前上下文单独计算的分布对首令牌分支重排序，可提升期望接受率，小树预算下尤明显；先按该分布抽取首令牌再分配树，也优于剪枝预选树。
要点速读
- 论文分析目标概率复用的精确性条件：需在下一轮完整上下文上计算分布
- 在六个目标模型上，用单独计算的分布重排序首令牌分支可提升期望接受率，小树预算下更明显
- 先抽取首令牌再分配树优于剪枝预选树；当单独目标前向与独立草稿重叠时，两种选择规则解码更快
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。