多模态推理的“指代鸿沟”：视觉脚手架能修什么

任务匹配的视觉指代可免训练提升多模态推理准确率。

资讯摘要

论文提出多模态大模型的多步视觉推理失败常源于“指代鸿沟”，即语言未能绑定到相关视觉实体、区域或位置，而非感知问题。作者构建 ReGap-Bench，在五个视觉推理任务中固定场景、问题与答案，仅改变指代方式。结果显示，与任务匹配的指代最多提升 25% 准确率，不匹配的指代收益很小甚至有害。

要点速读

1. 论文提出“指代鸿沟”概念，认为计数等失败源于语言与视觉实体绑定失败，而非看不清。
2. ReGap-Bench 固定场景、问题与答案，仅改变指代方式，覆盖五个视觉推理任务。
3. 作者报告任务匹配的指代最多提升 25% 准确率，不匹配指代收益有限或降低表现。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。