人类认知基准揭示多模态大模型基础视觉短板

39 个前沿多模态模型在基础视觉认知测试中最高仅得 55.9%。

资讯摘要

论文提出 VisFacor 基准，将认知心理学评估 FRCT 中 20 项视觉子测试数字化，覆盖人类视觉认知四个领域，并设计算法自动生成难度可控的测试用例。作者用该基准评测 39 个前沿多模态大模型，包括 GPT、Gemini、LLaMA、Qwen 等，最佳模型得分仅 55.9%。作者报告内部一致性良好（Cronbach's alpha=0.94），模型在心理旋转、空间关系推理、图形-背景区分等任务上持续失败，且与模型规模和提示策略无关。

要点速读

1. VisFacor 数字化 FRCT 的 20 项视觉认知子测试，覆盖四个领域，并可自动生成难度可控用例。
2. 评测 39 个前沿 MLLM，最佳得分仅 55.9%，Cronbach's alpha 为 0.94。
3. 心理旋转、空间关系推理、图形-背景区分等任务上，模型无论规模或提示策略均持续失败。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。