回到最新动态
研究论文 / THE SIGNAL

EVAN:用证据消融负样本强化多模态推理

Grounding Multimodal Reasoning with Evidence-Ablated Negatives

重要性 5.0 AI 辅助整理

EVAN 用遮蔽关键图像块生成的负样本抑制多模态推理中的捷径学习。

资讯摘要

论文提出 EVAN 多模态强化学习框架,针对 RLVR 中模型靠语言先验或数据捷径获取奖励、而非依据视觉证据的问题,用证据消融负样本训练 LMM。方法先用图像信息增益指标筛选高度依赖视觉的样本,并以混合排序保持数据多样性;再遮蔽最具判别性的图像块生成证据消融图像,诱导当前策略给出看似合理但缺乏视觉依据的回答,作为有界辅助信号在干净图像下参与优化。作者报告在多个多模态推理基准上缓解模态失衡并优于强 RLVR 基线,代码已开源。

要点速读

  1. 论文指出标准结果监督存在信用分配模糊,模型可能靠语言先验或数据集捷径获得正奖励。
  2. EVAN 用图像信息增益筛选视觉依赖样本,并通过遮蔽关键图像块构造证据消融负样本。
  3. 作者报告在多个多模态推理基准上缓解模态失衡,效果优于强 RLVR 基线,代码已公开。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开