新基准 PLE 显示最强智能体在物理工程任务上平均仅得 50.6%。
资讯摘要
论文提出 PLE 基准，包含 85 个长周期智能体任务，覆盖电气、土木、结构与机械工程，要求完成可计费的现实工程交付物。任务由执业工程师撰写，或经 Creator-Solver 智能体流程构建并经专家验证。作者在七种公开智能体框架下评测前沿大模型，最强配置平均得分仅 50.6%，每题平均消耗 2700 万 token、63 分钟。
要点速读
- PLE 含 85 个长周期任务，覆盖电气、土木、结构与机械工程，完成标准是现实可计费的工程交付物。
- 任务来源包括执业工程师端到端撰写，以及 Creator-Solver 智能体流程构建后由专家验证并提升难度。
- 作者在七种公开智能体框架下评测前沿模型，最强配置平均得分 50.6%，每题平均消耗 2700 万 token、63 分钟。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。