Rubricon：自动生成与精炼评分细则用于LLM评估和训练

Rubricon 可自动生成评分细则，评分对齐度比替代方法高 9%。

资讯摘要

论文提出 Rubricon，一个无需人工偏好标签、评分细则标注或生成模型训练的流水线，可自动生成具有区分度的评分细则。它通过采样多个候选、挑选最具区分度者、补充遗漏要求并剪除浅层或错位条目来精炼细则，并结合 LLM 自我批评、测试时扩展及示例回答上的条目通过率指导优化。作者报告在五个基准上，其评分与专家细则的对齐度比 RRD、QSRG、OpenRubrics 等最佳替代方法高 9%；在 HealthBench 上，用其细则后训练 Qwen3.5-9B 比用 RRD 细则提升 4.5%。

要点速读

1. Rubricon 无需人工偏好标签、评分细则标注或生成模型训练，可用任意 LLM 生成评分细则。
2. 流程包括采样多个细则、选最具区分度候选、补充遗漏要求、剪除错位或浅层条目，并用条目通过率指导精炼。
3. 作者报告在五个基准上评分对齐度比最佳替代方法高 9%，HealthBench 上后训练 Qwen3.5-9B 比 RRD 细则提升 4.5%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。