RubricCraft：从解法分歧中生成评分标准

RubricCraft 用候选解法差异生成评分标准，减少放过错误输出。

资讯摘要

论文提出 RubricCraft，将评分标准构建视为由候选解法引导的自然语言规范生成：给定任务描述与独立采样的求解轨迹，比较各次尝试对任务要求的满足或违反情况，据此构造评分条目，并用已收集解法修订会漏判错误或误罚有效替代方案的检查。作者报告在 SpreadsheetBench v2 上，与同一模型仅凭提示编写并应用的评分标准相比，RubricCraft 放过的错误输出更少（29.5% 对 42.6%），未误判基准自带检查器接受的输出，且更常按正确性排序输出。

要点速读

1. 方法以任务描述和独立采样的求解轨迹为输入，通过比较各次尝试的满足与违反情况生成评分标准。
2. 在 SpreadsheetBench v2 上，RubricCraft 放过的错误输出为 29.5%，同一模型仅凭提示生成的评分为 42.6%。
3. 作者报告其评分标准未误判基准自带检查器接受的输出，且基于三个模型家族尝试的修订被证据审计判为多数改进。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。