视觉语言模型内部存在指向与写出两类不同的图像检索头。
资讯摘要
论文研究大型视觉语言模型如何在多图上下文中定位与问题相关的图像，并提出 ICIR-MCQ 探针做注意力头级分析。作者用注意力质量识别出稀疏的 pointer heads，其单个头在自然多图检索基准上可与外部视觉语言检索器竞争；又用输出侧分析训练轻量检索器识别 writer heads。两类标准选出的头集差异明显，前 100 个头中仅 35 至 47 个重叠，消融显示标准多图推理最依赖二者交集。
要点速读
- 论文提出 ICIR-MCQ 受控探针，按注意力头分析上下文图像检索；单个 pointer head 在自然多图检索基准上可与外部视觉语言检索器竞争。
- 作者用各头 value-weighted 输出训练轻量图像检索器来识别 writer heads，发现 pointer 与 writer 标准选出的头集差异很大。
- 集合划分消融显示，对标准多图推理最重要的头集中在 pointer 与 writer 的交集，仅满足单一标准的头与随机头对照区分较弱。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。