论文显示现有LLM批改奥赛证明仍有明显提升空间。
资讯摘要
论文研究LLM验证奥赛级数学证明的能力，构建了经专家评分的USAMO 2025候选解答数据集，并评测多个前沿模型。作者提出TROJAN迭代自评流程，用于大规模生成高保真对抗性证明；评测覆盖20个模型、七项指标、两种提示风格、三种推理方法和三种提示模板，结论是当前最优模型仍有明显提升空间。作者还提出MABGrader，将评分建模为离散分数空间上的多臂老虎机选择，报告其Quadratic Weighted Kappa比SOTA ProofGrader高26.4%，评分误差降低14%。
要点速读
- 论文构建了经专家评分的USAMO 2025候选解答数据集，系统评测LLM证明验证能力。
- 提出TROJAN迭代自评流程，用于规模化生成高保真对抗性证明。
- 提出MABGrader，作者报告其Quadratic Weighted Kappa比ProofGrader高26.4%、评分误差降低14%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。