RCSD 用接受/拒绝序列训练草稿模型，报告接受长度提升 35%
资讯摘要
论文提出 RCSD 训练框架，用于投机解码中的草稿模型优化。作者指出传统软标签蒸馏要求草稿模型模仿目标模型完整输出分布，高熵区域会降低接受率并增加提前拒绝风险。RCSD 利用投机推理中自然出现的接受与拒绝序列构建隐式偏好对，并用掩码损失避免惩罚与目标一致的 token。作者报告在多个基准上平均接受长度较 HASS 提升 35%，实际负载端到端推理快 1.35 倍，且不损害生成质量。
要点速读
- 论文提出 RCSD，将草稿模型优化对齐到最大化接受长度这一系统级目标
- 方法利用投机推理中自然出现的接受/拒绝序列构建隐式偏好对，并用掩码损失避免惩罚与目标一致的 token
- 作者报告多个基准上平均接受长度较 HASS 提升 35%，实际负载端到端推理快 1.35 倍，且不损害生成质量
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。