新基准显示16个视频语言模型计数精确匹配率均不超27.6%。
资讯摘要
论文指出，现有九个视频问答基准的真值计数中位数不超过5，且分布高度偏斜，导致平均准确率被高频计数主导，稀有计数的偏差难以显现。作者提出CountVideoBench，包含2600段合成视频，覆盖5至50共26个基数，每类100段，分为六组连续计数簇。零样本评测十六个视频语言模型，无一超过27.6%的精确匹配率，且准确率随基数变化呈单调下降或非单调峰值后崩塌等不同模式。
要点速读
- 论文调查的九个基准真值计数中位数最多为5，三个最高频取值合计占视频的45%至93%。
- CountVideoBench含2600段合成视频，覆盖[5,50]区间26个基数，每类100段，分六组连续计数簇。
- 零样本评测九个架构家族的十六个视频语言模型，无一超过27.6% Exact Match；各模型预测集中于自身偏好整数，相邻计数准确率骤降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。