回到最新动态
研究论文 / THE SIGNAL

世界奖励模型:直接预测执行决策而非结果

Predict the Reward, Not the World: World Reward Models for ML Agents

重要性 5.5 AI 辅助整理

WRM 直接学习选择更优程序,而非预测执行结果。

资讯摘要

论文提出世界奖励模型(WRM),主张 ML 智能体无需预测程序执行结果,只需学习真实执行数据来直接判断哪个候选程序更优。作者证明从相同输入预测执行结果的选择器无法优于最佳直接选择器,且预测误差可能使似然训练的世界模型偏好较差程序。其 ForeCritic 将 9B 类型化决策模型适配 5k 对已执行程序,在 26 个 ML 任务的 12,438 对留出样本上以 79.4% 选出更优程序,通用 LLM 评判为 53–62%。

要点速读

  1. 论文提出 World Reward Models(WRM),从真实执行结果学习直接选择更优候选程序,不预测中间执行结果。
  2. 作者证明预测执行结果会引入误差,可能使似然训练的世界模型在每个实例上偏好较差程序。
  3. ForeCritic 基于 9B 类型化决策模型,在 12,438 对留出程序上选优准确率 79.4%,通用 LLM 评判为 53–62%;在 AIDE、ML-Master、ForeAgent 中平均任务时间缩短 4.4–7.5 倍。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开