System-1决策模型能否替代LLM评审

部分System-1决策模型在评审基准上可媲美生成式评审

资讯摘要

论文评估14个System-1决策模型与四个生成式评审模型在11个评审基准上的表现。作者报告，其中5个模型在全部五项两两对比和best-of-4基准上与无推理的GPT-5.6统计上无差异；在提供参考答案条件下，11个模型在JudgeBench达到90.3%–93.4%，与带推理的Opus 5.5和GPT-5.6相当。对注入指令的鲁棒性因模型而异，两个通用System-1榜单可预测评审准确率。

要点速读

1. 论文在11个评审基准上比较14个System-1决策模型与Claude Haiku 5.5、GPT-5.6、Claude Opus 5.5等生成式评审。
2. 作者报告5个System-1模型在五项两两对比和best-of-4基准上与无推理GPT-5.6统计上无差异。
3. 提供参考答案后，11个模型在JudgeBench达90.3%–93.4%，与带推理的Opus 5.5和GPT-5.6相当。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。