首个推理token通过少数敏感位置的注意力持续影响推理长度
资讯摘要
论文关注推理模型的首个推理token对后续生成长度的影响机制。作者发现，仅替换已有推理前缀的首个token并继续生成，即使其余前缀不变，剩余推理长度仍会明显变化。通过比较不同首token条件下的下一token分布，作者发现敏感性集中在少数生成位置；阻断这些位置对首token的注意力可缩小长度差距，而在这些位置改用另一条件下的分布也会改变后续推理长度。
要点速读
- 仅替换首个推理token、其余前缀不变，剩余推理长度仍会显著变化
- 不同首token条件下的下一token分布敏感性集中在少数生成位置
- 阻断这些位置对首token的注意力可缩小长度差距，替换这些位置的分布也会改变后续长度
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。