回到最新动态
交叉发布 / THE SIGNAL

The Prestige:用魔术表演评测认知视觉推理

The Prestige: Benchmarking Cognitive Visual Reasoning using Magic Tricks

重要性 5.5 AI 辅助整理

新基准用魔术表演评测 VLM 认知视觉推理,最强模型仍远逊人类。

资讯摘要

论文提出视频理解基准 The Prestige,以专业魔术表演为素材,借刻意误导考察模型追踪事件、解释意外结果的能力。题目为开放式问答,覆盖时序与因果理解及对抗性问题鲁棒性。作者报告,评测主流开源与专有 VLM 后发现最强模型仍与人类表现存在明显差距,并发现人工与自动评分存在系统性差异及反复出现的失败模式。消融显示模型有时能选对多选题却无法独立给出正确解释。

要点速读

  1. 论文提出视频理解基准 The Prestige,用专业魔术表演中的刻意误导考察认知视觉推理。
  2. 题目为开放式问答,涵盖时序与因果理解、对抗性问题鲁棒性。
  3. 作者报告最强 VLM 与人类表现差距明显,并发现人工与自动评分存在系统性差异;消融显示模型能选对多选题却无法独立生成正确解释。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开