跨模型审查通常不如直接使用更强模型,且成本更高。
资讯摘要
论文指出,以“相对生成器的提升”衡量跨模型审查,会混淆验证与能力迁移。作者在数学、知识、代码与推理任务上测试 12 个开源模型(3B 至 72B)组成的 48 对组合,共 96 个审查方向,发现审查仅在 9 个方向胜过更强模型单独作答,能力差距越大表现越差;原因是审查者倾向锚定生成器答案,丢弃自身正确答案。审查成本为更强模型单独作答的 2.6 至 2.8 倍,而同等两次调用的选择器更准且更便宜。
要点速读
- 测试覆盖 12 个开源模型(3B 至 72B)的 48 对组合、96 个审查方向,任务含数学、知识、代码与推理。
- 审查仅在 9 个方向胜过更强模型单独作答,能力差距越大越差,作者归因于锚定效应。
- 审查成本是更强模型单独作答的 2.6 至 2.8 倍;同等两次调用的选择器准确率高 2.7 至 4.2 个百分点且更便宜。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。