论文发现视频MLLM普遍无法识别候选答案中缺少正确答案。
资讯摘要
论文对多模态大语言模型在视频理解中的“缺失答案检测”进行诊断研究:在候选答案中故意不放入正确答案,考察模型能否识别无有效选项。作者在带“None of the Above”选项的选择题、带检测指令的开放式生成和无引导标准评测三种设置下测试多款模型与基准,发现模型普遍选择看似合理的干扰项而非指出答案缺失;该失败在时序推理任务中更明显,并随帧采样更密集而加重。作者尝试用思维链提示缓解,检测率虽有提升但仍不理想。
要点速读
- 论文设置三种评测条件:加入“None of the Above”选项的选择题、带检测指令的开放式生成、无引导标准评测。
- 作者报告模型大多选择合理干扰项而非识别缺失答案,时序推理任务中更严重,且随帧采样更密集而恶化。
- 思维链提示可提升检测率,但作者认为仅靠提示策略不足以解决该局限。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。