视频世界模型的潜在预测误差能否支撑物理意外判断

视频世界模型的预测误差未必可靠反映物理意外。

资讯摘要

论文提出一个评估框架，用于区分冻结表征包含的信息、其如何组织外观与物理差异，以及模型自身预测误差的变化。在 IntPhys2 上比较潜在预测、掩码像素重建与简单视觉统计三类表征：外观信息容易解码，V-JEPA2 仅暴露有限的事件可能性信息；深层中外观变化方向更一致、与物理变化重叠减少。在 Physion++ 与 Kubric 上，重复单帧或改变颜色可改变误差，不可能事件甚至可能误差更低，固定阈值会误判。

要点速读

1. 论文在 IntPhys2 上比较潜在预测、掩码像素重建和简单视觉统计的表征，发现外观易解码，V-JEPA2 仅含有限的事件可能性信息。
2. 在 Physion++ 中重复单帧可产生高于原片段的误差，全程改变颜色则可降低误差；在 Kubric 中不可能事件的误差可低于可能事件。
3. 作者指出固定误差阈值会把许多可能事件误判为不可能，模型可表征物理信息并对错误动作有响应，但原生预测误差未必可靠衡量物理意外。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26（北京时间）。