回到最新动态
交叉发布 / THE SIGNAL

多模态大模型视频分析中的表征效度

What Does the Model See? Representation Validity in Multimodal LLM-Based Video Analysis

重要性 5.5 AI 辅助整理

论文发现没有一种输入表征始终最优,需按构念与估计量验证。

资讯摘要

论文提出“表征效度”概念,考察文本、音频、视频及组合输入如何影响基于多模态大语言模型的视频测量。作者比较六个开放权重 MLLM 与三个带人工标注的视频数据集,发现没有一种输入表征始终最优:在七项新闻相关构念上,原生视频的宏平均 F1 为 .70–.77,提取文本为 .52–.80,三个模型用文本更好、三个用视频更好,组合输入很少带来提升。

要点速读

  1. 论文比较六个开放权重 MLLM 和三个带人工标注的视频数据集,考察文本、音频、视频及组合输入对测量的影响。
  2. 七项新闻相关构念上,原生视频宏平均 F1 为 .70–.77,提取文本为 .52–.80;三个模型文本更优、三个视频更优,组合输入很少提升。
  3. 分类准确率更高并不保证估计更接近人工编码:最高 F1 表征仅在 42 组比较中的 17 组最好地复现人工编码回归系数;即使各模型采用最高 F1 的可部署表征,仍有 45% 的样本流行度估计与人工基准相差超过十个百分点。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开