Dual Exam 分别评测智能体与世界模型,耦合配对试点零成功。
资讯摘要
论文提出 Dual Exam 评测框架,在固定环境响应机制下测试多模态智能体,在固定动作干预下测试世界模型,覆盖物理、数字、社交与科学领域。智能体赛道在 1,088 个条目上比较 10 种配置,世界模型赛道含 400 个案例、八个场景。作者报告 GPT 6 Astra 以 31.3 居智能体指数首位,GPT-Image-2 以 21.7 居全覆盖世界模型总分首位,两者任务与指标不同、不可直接比较。
要点速读
- 智能体赛道在 1,088 个条目、15 个报告类别上比较 10 种配置;世界模型赛道含 400 个案例、八个场景,15 种配置全覆盖、1 种覆盖六个场景。
- 作者报告 GPT 6 Astra 的案例加权智能体指数为 31.3,GPT-Image-2 的全覆盖世界模型总分为 21.7,两项分数不可直接比较。
- 一个 150 案例的耦合配对试点记录到零任务成功,作者据此提出需做组件级诊断,并指出结果对预测耦合成功或持续互学仍待验证。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。