See, Think, Use：诊断视觉语言模型的感知与推理失败

新协议把视觉语言模型答案拆解到感知、推理与利用三阶段

资讯摘要

论文提出 See, Think, Use 协议，将视觉语言模型的每个答案归因到感知、推理或对感知结果的利用三个阶段，帮助开发者定位应改进的环节。该协议无需访问模型权重，每道题仅需额外提问两次：定位探针要求框出每个实例以衡量“看”，文本替换探针依据描述作答以衡量“想”，而“用”则通过反事实图像对衡量答案跟随模型自身感知的比例。作者在两个模型家族、六个数据集上报告了该诊断结果。

要点速读

1. 协议将答案归因到感知、推理或对感知的利用，无需模型权重，每题额外提问两次。
2. 定位探针衡量感知，文本替换探针衡量推理，反事实图像对衡量对感知的利用且无需答案标签。
3. 作者报告：答案通常跟随模型感知，但在与常见先验矛盾的图像上失效；先要求定位可在框正确时修复该失败。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。