视频基础模型可解码直觉物理,但可及性因基准与读出方式而异。
资讯摘要
论文研究预训练视频基础模型的冻结表征是否编码直觉物理信息,以及这种信息在不同预训练范式、层深、骨干变体和探针类型下的可及性。作者在 IntPhys2 与 Minimal Video Pairs(MVP)上对比 V-JEPA、VideoMAE 和 LTX-Video,发现物理相关信息在浅层最弱、中后层更易获取;MVP 上时间注意力探针明显优于线性读出,V-JEPA 达到 95.0% 配对一致性;IntPhys2 上 VideoMAE 的时间注意力探针取得 73.9% 违反预期准确率,LTX 在两项基准上均较弱。
要点速读
- 论文用冻结特征探针在 IntPhys2 和 MVP 上比较 V-JEPA、VideoMAE、LTX-Video 三种预训练范式。
- MVP 上时间注意力探针优于线性读出,V-JEPA 报告 95.0% 配对一致性;IntPhys2 上 VideoMAE 报告 73.9% 违反预期准确率。
- 作者认为直觉物理信息可从视频基础模型中广泛解码,但其可及性尤其是时间 grounding 更依赖基准与读出方式,而非预训练目标或模型规模的简单层级。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。