让视觉语言模型按指定模态作答

论文用反事实干预评估并学习 VLM 的模态控制。

资讯摘要

论文关注图文冲突时用户能否控制视觉语言模型依据哪种模态作答，并提出用保留冲突的反事实干预来评估：Flip 检验答案是否随指定模态的编辑而改变，Stay 检验竞争模态被编辑时答案是否稳定。作者借鉴新词学习，为视觉与文本 grounding 引入新词并只训练其嵌入，同时提出 Counterfactual Twin-Margin 监督。作者报告在三个 VLM、三个现有基准及自建 Ground-CF 上，学习到的模态词比自然语言指令控制更好。

要点速读

1. 提出 Flip 与 Stay 两项指标，用保留冲突的反事实干预评估模态 grounding 控制，而非只看答案准确率。
2. 为视觉和文本 grounding 引入新词，仅训练其嵌入、冻结预训练模型，并加入 Counterfactual Twin-Margin 配对监督。
3. 作者报告在三个 VLM 与三个现有基准及 Ground-CF 上，模态词优于自然语言指令；LoRA 总体最强，但留出评估下视觉优势收窄。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。