论文用 75 题基准评测 39 个模型的量子场论能力。
资讯摘要
论文提出 QFT-Bench，包含 75 道研究生至研究级量子场论问题，覆盖核心子领域，每题有闭式参考答案，采用符号验证与 LLM 评判结合的方式评估。作者报告在 39 个闭源与开源模型上，前沿模型已能完成非平凡 QFT 计算，最强模型准确率超过 95%，但在计算、约定和指令遵循上仍会出错，较弱模型常在物理概念与推导层面失败。作者还监测思维链，发现模型存在推理不忠实：答案正确但推理不足以支撑结论。
要点速读
- QFT-Bench 含 75 道研究生至研究级 QFT 问题，均有闭式参考答案，评估结合符号验证与 LLM 评判。
- 作者报告在 39 个闭源与开源模型中，最强模型准确率超过 95%，但计算、约定与指令遵循仍有错误。
- 作者监测思维链后发现推理不忠实现象：模型可给出正确答案，但推理本身不能逻辑支撑该答案。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。