新数据集用角色信念问题评测长视频理解，现有开源 VLM 召回率明显不足。
资讯摘要
论文提出 LF-VideoQA，一个面向长叙事视频的长篇开放式问答数据集，基于心智理论设计问题：角色的信念取决于其所见所闻，因此每道题都需整合视频中分散的证据。数据集含 94 部近期电影的 6300 多道题，平均需推理约 23 分钟的场景，并配有逐题评分标准；数据由剧本标注场景事件与角色信念后经 LLM 生成并验证，人工研究验证了质量。作者报告，四类开源 VLM 在三种设置下表现均不佳，召回率是主要瓶颈。
要点速读
- 数据集含 94 部近期电影的 6300 多道开放式问题，每题平均需跨约 23 分钟场景推理，并附问题专属评分标准。
- 数据构建流程为自动标注剧本中的场景事件与角色一阶信念、元信念，再由 LLM 生成并验证（问题、答案、评分标准）三元组，人工研究验证质量。
- 作者报告：可访问剧本的 oracle 也远未答全，最佳非 oracle 模型召回率不足 oracle 一半；字幕与说明文本表现不如视频本身，召回是主要瓶颈。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。