面向MLLM长视频理解的查询条件证据关键帧采样

论文用查询条件证据评分网络选择关键帧，长视频问答优于均匀采样。

资讯摘要

论文提出一种证据驱动的关键帧采样框架，从信息论角度将最大化所选帧与答案在给定查询下的条件互信息作为理想目标，并用模块化单例增益代理导出可处理的逐帧选择准则。作者利用标注的答案支撑片段训练查询条件证据评分网络，以对比目标使证据区域帧的得分总量高于背景帧。在长视频基准上，相同帧预算下该方法优于此前采样策略；作者报告在32帧预算下Qwen2.5-VL-7B上LVBench较均匀采样提升10.1分，VideoMME长视频子集提升4.4分。

要点速读

1. 论文以最大化所选帧与答案在给定查询下的条件互信息为理想目标，用单例增益代理得到逐帧选择准则。
2. 作者用标注的答案支撑片段训练查询条件证据评分网络，并以对比目标区分证据帧与背景帧。
3. 作者报告在32帧预算下Qwen2.5-VL-7B上LVBench较均匀采样提升10.1分，VideoMME长视频子集提升4.4分。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。