长思维链中投机解码接受率不随位置衰减

独立草稿下，投机解码接受率不随思维链位置衰减。

资讯摘要

论文对长思维链中投机解码接受率随位置衰减的流行说法提出质疑。作者在 MATH-500 全部 500 题上，用同家族与跨家族两个独立草稿模型对 DeepSeek-R1-Distill-Qwen-7B 做全长测量，约 178 万轮验证。作者报告：排除贪心解码的重复病态后，四种配置下接受率均不随位置衰减，后半段反而略高；采样模式的表面退化是 argmax 一致性的可见性假象。拒绝集中在“wait”“however”“check”等反思触发词上，轻量 LoRA 轨迹对齐干预未提升平均接受长度。

要点速读

1. 在 MATH-500 全部 500 题上，用同家族 DeepSeek-R1-Distill-Qwen-1.5B 与跨家族 Qwen2.5-1.5B-Instruct 两个独立草稿，对 DeepSeek-R1-Distill-Qwen-7B 做约 178 万轮验证。
2. 作者报告：隔离贪心解码重复病态后，四种配置在接受率上均不随位置衰减（贪心 0-8K、采样 0-12K），每条轨迹后半段略高且显著。
3. 拒绝高度集中在“wait”“however”“check”等反思触发词；uniform、reflection-marked、entropy-weighted 三种 LoRA 轨迹对齐干预均未提升平均接受长度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。