论文用同一套题对比模型与人类，发现模型错误模式与人类不同。
资讯摘要
论文提出一种以人为中心的评估协议，在同一组可视化理解题目上直接比较视觉语言模型与人类的作答模式，而非只看准确率。作者用该协议测试了八个视觉语言模型，覆盖五项人类可视化素养测试和一项专为模型设计的测试。结果显示模型平均表现低于人类，即使采用宽松标准差距仍存在；模型与人类在各题上的相对表现有一定相关性，但所有模型的错误模式都与人类可靠地不同。
要点速读
- 论文提出以人为中心的评估协议，在同一组题目上对比视觉语言模型与人类的回答模式。
- 测试覆盖八个视觉语言模型和六项评估，其中五项为现有人类可视化素养测试，一项专为模型设计。
- 作者报告模型平均表现低于人类，且所有模型的错误模式与人类可靠地不同。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。