分词切分方式决定早退模型在词内何处分配计算。
资讯摘要
论文研究早退语言模型在词内部如何分配计算预算，指出 token 并非固定难度单位。作者在 Qwen3 上沿脉冲转换时间步与 Transformer 层两个自适应轴观察发现，置信度停止策略在英语、德语、土耳其语中给词的后继片段分配的计算少于首片段，在孟加拉语中则相反；用 BPE-dropout 重新切分同一批平行段落可使差距最多移动八次退出，词内 surprisal 可解释该差距 75% 的方差。学习式停止头比置信度停止高 7 至 8 个百分点，但相对等成本下最优固定退出组合提升不足一个百分点，有时更差。结果均来自离线分析，未测量实际加速。
要点速读
- 论文在 Qwen3 的两个自适应轴上发现，置信度停止在英语、德语、土耳其语中给词的后继片段更少计算，在孟加拉语中更多。
- 重新分词可让词内计算差距最多移动八次退出；词内 surprisal 解释该差距 75% 的方差，字符/token 比无法跨语言预测。
- 学习式停止头比置信度停止高 7 至 8 个百分点，但相对等成本最优固定退出组合提升不足一个百分点，有时更差。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。