回到最新动态
研究论文 / THE SIGNAL

论文分析结果强化学习带来的提升来源

What Outcome RL Buys: Finishing, Reliability, Rarely Reach

重要性 6.5 AI 辅助整理

论文称 RL 提升多来自完成度与可靠性,而非学会新题。

资讯摘要

一篇论文在固定 token 预算下,比较 20 个已发布 RL 模型(1.5B 至 32B)与其基座思考模型在物理和数学题上的 pass@1,并将变化拆为完成度、可靠性和触及新题三部分。作者报告:基座常因预算耗尽未作答时,变化主要来自完成度(4k 与 8k 下占 82%);预算充足时提升主要来自可靠性;RL 很少解出基座解不出的题,触及增益最多 2.1 个百分点。

要点速读

  1. 论文将 pass@1 变化拆为完成度、可靠性、触及新题三部分,在固定 token 预算下比较 20 个 RL 模型与各自基座。
  2. 基座常因预算耗尽未作答时,变化主要来自完成度,4k 与 8k 下占 82%;给基座更多 token 可自行缩小大部分差距。
  3. 作者报告 RL 很少解出基座解不出的题,触及增益最多 2.1 个百分点;144 道仅 RL 解出的物理题中 3.5% 经重采样或人工阅读仍成立。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开