回到最新动态
论文更新 / THE SIGNAL

视觉思维忠实性:测量与增强

On the Faithfulness of Visual Thinking: Measurement and Enhancement

重要性 5.0 AI 辅助整理

论文指出MCoT视觉信息常不忠实,并提出SCCM改进。

资讯摘要

论文观察到,经强化微调(RFT)的大视觉语言模型(LVLM)生成的多模态思维链(MCoT)中,视觉信息常不准确,即使答案正确;破坏视觉信息后任务准确率几乎不变。作者将原因归于RFT的RL奖励只激励图文交错格式,不检验视觉内容正确性。论文提出基于LVLM的自动评估指标,从相关性和充分性衡量视觉线索忠实性,并给出免标注、即插即用的SCCM学习方法。

要点速读

  1. 论文发现MCoT中的视觉信息常不准确,且视觉被破坏后预测几乎不变,说明视觉证据被忽略。
  2. 作者提出基于LVLM的自动评估指标,从相关性和充分性两方面量化视觉线索忠实性,评估显示现有MCoT视觉信息既不相关也不充分。
  3. 论文提出Sufficient-Component Cause Model(SCCM)学习,免标注、即插即用,作者报告在细粒度感知与推理基准上提升了视觉忠实性。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开