TVP 损失在多种草稿模型上提升投机解码接受长度。
资讯摘要
论文指出，无损投机采样中草稿令牌的接受概率等于 1 减去目标分布与草稿分布的总变差（TV）距离，但草稿模型常用交叉熵或 KL 训练。作者提出基于期望接受长度的损失族 TVP，其幂参数可在覆盖与接受导向目标间插值，并将幂从 0 退火到 1。作者报告在三种草稿架构和三种目标模型上取得最高或并列最高的接受长度，微调时较 CE 提升 9.8%，较公开 DFlash2 训练配方提升 6.2% 至 12.9%。
要点速读
- 论文分析 TV 在覆盖不足令牌上的梯度消失，以及接受长度目标中前缀乘积使后段位置受益不足的问题。
- TVP 以期望接受长度为出发点，幂参数从 0 退火到 1，兼顾覆盖与接受导向。
- 作者报告在三种草稿架构、三种目标模型上接受长度最高或并列最高，并覆盖更长草稿与块验证设置。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。