回到最新动态
论文更新 / THE SIGNAL

论文:LLM 审查很少胜过更强模型

Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines

重要性 5.5 AI 辅助整理

跨模型审查通常不如直接使用更强模型,且成本更高。

资讯摘要

论文指出,以“相对生成器的提升”衡量跨模型审查,会混淆验证与能力迁移。作者在数学、知识、代码与推理任务上测试 12 个开源模型(3B 至 72B)组成的 48 对组合,共 96 个审查方向,发现审查仅在 9 个方向胜过更强模型单独作答,能力差距越大表现越差;原因是审查者倾向锚定生成器答案,丢弃自身正确答案。审查成本为更强模型单独作答的 2.6 至 2.8 倍,而同等两次调用的选择器更准且更便宜。

要点速读

  1. 测试覆盖 12 个开源模型(3B 至 72B)的 48 对组合、96 个审查方向,任务含数学、知识、代码与推理。
  2. 审查仅在 9 个方向胜过更强模型单独作答,能力差距越大越差,作者归因于锚定效应。
  3. 审查成本是更强模型单独作答的 2.6 至 2.8 倍;同等两次调用的选择器准确率高 2.7 至 4.2 个百分点且更便宜。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开