“wait”标记主要继承自训练数据，而非RL发明。
资讯摘要
论文追踪开放模型训练历史中“wait”一词的来源，用无标签指标和注入错误测试分析采样输出。作者报告：在缺少该词的基座上，零强化学习几乎不会创造该标记，MATH-500准确率提升时“wait”仍近乎缺失；该词随训练数据出现，OLMo-3的中训练和推理轨迹微调可将其装入多数基座。基座已使用时，OLMo-3与MiMo的RL-Zero配方会放大它，而同基座的无KL GRPO不会。作者还指出标记频率不能单独指示RL推理，并提醒慎用LLM评审的修订指标。
要点速读
- 论文发现零RL在缺少“wait”的基座上几乎不创造该标记，但MATH-500准确率仍显著提升。
- 该标记随训练数据进入模型：OLMo-3中训练与推理轨迹微调可将其装入多数原本没有的基座。
- 基座已含该词时，OLMo-3和MiMo的RL-Zero配方会放大它，同基座无KL GRPO则不会；作者警告标记频率不等于RL推理。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。