PRISM：用过程奖励模型引导深度思考推理

PRM 引导推理让 gpt-oss-20b 在三项基准上超过 gpt-oss-120b。

资讯摘要

论文提出 PRISM，一种由过程奖励模型（PRM）引导的推理算法，用步骤级验证指导重采样、候选接受与解答聚合，以缓解深度思考框架中正确性信号不可靠、额外算力收益递减的问题。作者报告，搭配 PRM 分数投票聚合方法时，PRISM 在 gpt-oss-20b 上于 AIME25、HMMT25、GPQA Diamond 分别达到 90.0%、75.4%、71.4%，并超过 gpt-oss-120b。

要点速读

1. 论文对深度思考系统做功能分解，提出 PRISM 算法，用 PRM 步骤级验证引导重采样、候选接受和解答聚合。
2. 精炼阶段用 PRM 分数引导种群重采样与随机局部精炼，集中算力于更高质量推理并保留多样性。
3. 作者报告 gpt-oss-20b 上 AIME25 90.0%、HMMT25 75.4%、GPQA Diamond 71.4%，超过 gpt-oss-120b。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。