回到最新动态
论文更新 / THE SIGNAL

视频基础模型如何编码直觉物理?跨预训练范式探针研究

How Do Video Foundation Models Encode Intuitive Physics? Probing Across Pretraining Paradigms

重要性 5.0 AI 辅助整理

视频基础模型可解码直觉物理,但可及性因基准与读出方式而异。

资讯摘要

论文研究预训练视频基础模型的冻结表征是否编码直觉物理信息,以及这种信息在不同预训练范式、层深、骨干变体和探针类型下的可及性。作者在 IntPhys2 与 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 和 LTX-Video,发现物理相关信息在浅层最弱、中后层更易获取;MVP 上时间注意力探针明显优于线性读出,V-JEPA 达到 95.0% 配对一致性;IntPhys2 上 VideoMAE 的时间注意力探针取得 73.9% 违反预期准确率,LTX 在两项基准上均较弱。

要点速读

  1. 论文用冻结特征探针在 IntPhys2 和 MVP 上比较 V-JEPA、VideoMAE、LTX-Video 三种预训练范式。
  2. MVP 上时间注意力探针优于线性读出,V-JEPA 报告 95.0% 配对一致性;IntPhys2 上 VideoMAE 报告 73.9% 违反预期准确率。
  3. 作者认为直觉物理信息可从视频基础模型中广泛解码,但其可及性尤其是时间 grounding 更依赖基准与读出方式,而非预训练目标或模型规模的简单层级。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开