多模态大模型检索头跨模态扩展研究

检索头跨模态共享，可作为优化目标提升多模态检索。

资讯摘要

论文研究多模态大模型中的检索头机制是否随输入模态扩展。作者以音视频为新增模态，构造同一答案分别以语音或屏幕呈现的配对输入，发现证据内容固定时检索头在新模态下仍稀疏，且跨模态大量共享。在18个语言、视觉语言与全模态检查点上，全模态模型基本保留骨干网络的检索头；消融这些头几乎消除全部音视频检索，共享头占比不足2%，消融后文档理解、空间感知与视觉数学也出现退化。作者据此用排序目标训练检索头注意力，使Qwen3-VL-8B在MMDocIR上的页面Recall@1提升6.03点，并在三个模型家族上改善文档检索。

要点速读

1. 论文构造同一答案以语音或屏幕呈现的配对输入，发现检索头在新模态下仍稀疏且跨模态大量共享。
2. 在18个检查点上，全模态模型基本保留骨干检索头；消融共享头（不足2%）会损害文档理解、空间感知与视觉数学。
3. 以排序目标训练检索头注意力后，Qwen3-VL-8B在MMDocIR的页面Recall@1提升6.03点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。