视觉语言模型答对问题却常定位不到正确图像区域
资讯摘要
论文研究视觉语言模型在视障人士辅助场景中的视觉定位能力，使用视障人士拍摄真实图像的 VizWiz-VQA-Grounding 数据集评估开源模型，并提出 VG-SHAP 扩展可解释框架以评估黑盒模型。结果显示，模型虽能生成正确答案，却难以定位到图像中的正确区域；作者指出结果受分割模型质量限制，需进一步研究。
要点速读
- 论文使用 VizWiz-VQA-Grounding 数据集与挑战评估开源视觉语言模型的视觉定位能力
- 提出 VG-SHAP，扩展现有可解释框架以提供视觉定位解释，可评估黑盒模型
- 结果显示模型能生成正确答案，但难以在图像中定位正确区域，且受分割模型质量限制
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。