新基准用形式化证明检验大模型高阶逻辑推理，最佳准确率仅 65.99%。
资讯摘要
论文提出 HOLogicBench，一个含 1,379 个实例的基准，用于系统评估大模型在规则与策略层面的高阶逻辑推理。该基准用 Isabelle/HOL 形式化并给出经证明验证的答案，还提供求解器验证的参考推理路径，可细粒度比对模型推理过程。作者报告 16 种模型配置平均准确率 53.86%，最佳 65.99%；模型推理与有效推导对齐有限，易受最小反事实扰动影响，不同高阶推理类型呈现不同失败模式。
要点速读
- 基准含 1,379 个实例，覆盖五类高阶推理操作，答案经 Isabelle/HOL 形式化与证明验证。
- 除答案准确率外，还提供求解器验证的参考推理路径，用于评估模型推理过程。
- 16 种模型配置平均准确率 53.86%，最佳 65.99%；模型对有效推导对齐有限，且易受最小反事实扰动影响。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。