VideoLVR 用潜在视觉证据支撑视频推理的中间步骤。
资讯摘要
论文提出 VideoLVR,针对多模态大模型在视频推理中语言思维链易丢失视觉证据的问题,从相关视频时刻的局部区域构建潜在视觉证据,为中间推理步骤提供视觉支撑。作者引入视觉 token 预测目标,把视觉 token 重建表述为在输入视频词表上的预测,使视觉证据重建与文本生成共用同一 token 预测框架,并扩展到强化学习。论文报告在多个视频基准上有效,尤其细粒度视觉证据任务。
要点速读
- 论文指出语言推理轨迹难以让模型回看相关视觉证据,导致视觉遗忘。
- VideoLVR 从相关视频时刻的局部区域构建潜在视觉证据,避免大幅扩展多模态上下文。
- 作者提出视觉 token 预测目标,并扩展到以最终答案奖励联合优化文本与视觉 token 的强化学习。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。