视觉语言模型中视觉信息的两条流动路径

论文揭示VLM视觉信息经两条可切换路径流动

资讯摘要

论文用因果修补方法研究视觉语言模型（VLM）中视觉信息的路由方式，在受控合成与自然数据集上发现模型依赖两条路径完成视觉任务：直接路径将视觉信息保留在图像 token 表示中、由最终 token 在较后层读出；文本中介路径则先把视觉信息转移到查询 token 再读出。作者报告路径选择随任务而变，数据分布与提示设计也会影响所用路径；注意力 knockout 与损坏输入修补显示路径具有灵活性，常规路径被消融时模型可回退到文本中介路径。

要点速读

1. 论文提出 VLM 存在直接路径与文本中介路径两种视觉信息流动方式
2. 路径选择依赖任务，并受数据分布和提示设计影响
3. 消融实验显示路径可灵活切换，模型在常规路径被移除时可回退到文本中介路径

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。