回到最新动态
研究论文 / THE SIGNAL

RubricWorld:世界模型引导的LLM评分标准优化

RubricWorld: World Model-Guided Rubric Optimization for LLM Graders

重要性 5.5 AI 辅助整理

世界模型引导评分标准编辑搜索,ASAP2.0 上准确率提升明显。

资讯摘要

论文提出 RubricWorld 框架,用世界模型预测评分标准编辑在分数边界上的纠错率与降级率,从而指导搜索。训练信号来自同一批答案在编辑前后的配对评分结果,预测用于筛选候选编辑,并以留出置信界判断是否满足纠错与新增错误限制;被拒绝的编辑也会更新模型。作者报告在 EIR (National)、ASAP2.0 和 ASAP-SAS 三个数据集、三种冻结 LLM 评分器上,27 项指标比较中 20 项取得最高分;ASAP2.0 上 gpt-5-mini 准确率从原始标准的 18.20% 升至 46.70%,比最强基线 APO 高 22.60 个百分点。代码将在论文接收后发布。

要点速读

  1. RubricWorld 用世界模型预测编辑在分数边界上的纠错率和降级率,以指导评分标准优化搜索。
  2. 训练信号来自同一批答案在编辑前后的配对评分结果,被拒绝的编辑也会用于更新模型。
  3. 作者报告在三个数据集、三种冻结 LLM 评分器上,27 项指标比较中 20 项最高;ASAP2.0 上 gpt-5-mini 准确率由 18.20% 升至 46.70%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开