新基准用推理轨迹诊断多模态模型的感知与推理落地问题。
资讯摘要
论文提出 PRISM-BENCH，包含 1000 道专家筛选题目，覆盖五个此前较少涉及的推理类别，每题附有人工撰写并经另一人验证的理想推理轨迹。作者报告，感知探针将前沿模型约 85% 的失败归因于感知错误，瓶颈在图像落地；轨迹对齐可预测 25 个系统的答案正确性（宏 AUROC 0.66）。论文还提出效率指标 CORE，在 25 个开放与闭源系统中最佳准确率为 66.0%。
要点速读
- PRISM-BENCH 含 1000 道专家筛选题目，覆盖五个此前较少涉及的推理类别，每题附经双人验证的理想推理轨迹。
- 作者报告感知探针将约 85% 的前沿模型失败归因于感知错误，瓶颈在图像落地；轨迹对齐预测答案正确性，宏 AUROC 为 0.66。
- 论文提出效率感知指标 CORE，称其相对准确率重排 24.2% 的模型对；25 个系统中最佳准确率 66.0%，在四类有人类基线的类别上最佳系统落后人类 18.4 分。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。