论文指出MCoT视觉信息常不忠实,并提出SCCM改进。
资讯摘要
论文观察到,经强化微调(RFT)的大视觉语言模型(LVLM)生成的多模态思维链(MCoT)中,视觉信息常不准确,即使答案正确;破坏视觉信息后任务准确率几乎不变。作者将原因归于RFT的RL奖励只激励图文交错格式,不检验视觉内容正确性。论文提出基于LVLM的自动评估指标,从相关性和充分性衡量视觉线索忠实性,并给出免标注、即插即用的SCCM学习方法。
要点速读
- 论文发现MCoT中的视觉信息常不准确,且视觉被破坏后预测几乎不变,说明视觉证据被忽略。
- 作者提出基于LVLM的自动评估指标,从相关性和充分性两方面量化视觉线索忠实性,评估显示现有MCoT视觉信息既不相关也不充分。
- 论文提出Sufficient-Component Cause Model(SCCM)学习,免标注、即插即用,作者报告在细粒度感知与推理基准上提升了视觉忠实性。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。