UBTree：用 Unigram 与 Bigram 模型并行构建草稿树加速推测解码

UBTree 用 Unigram 加 Bigram 构建草稿树，提升推测解码草稿多样性。

资讯摘要

论文提出 UBTree，一种并行草稿器，将 Unigram 提议器与 Bigram 选择器结合来构建草稿树，以提升草稿多样性。Unigram 提议器用标准交叉熵目标独立生成各位置候选词，轻量 Bigram 选择器用高温数据上的重归一化 KL 目标预测相邻候选对之间的转移分数。作者报告在 Qwen3-4B 与 Qwen3-8B 的七个基准上，相对自回归解码平均加速 5.84–6.94 倍，并在全部 28 项对比中优于 DARTree。

要点速读

1. UBTree 由 Unigram 提议器与 Bigram 选择器组成，用于并行构建推测解码的草稿树。
2. Unigram 提议器用标准交叉熵训练，Bigram 选择器用高温数据上的重归一化 KL 目标训练。
3. 作者报告在 Qwen3-4B 与 Qwen3-8B 的七个基准上平均加速 5.84–6.94 倍，28 项对比均优于 DARTree。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。