论文称好视角比规模更能促成跨模态柏拉图表示。
资讯摘要
论文将柏拉图表示假说转为定理：作者证明，在正样本对为同一场景的两个“好视角”时，分别训练于任意模态的JEPA可学到仅差一个旋转的相同表示。作者指出下一词预测相当于使用“坏视角”的JEPA，并报告对齐的缩放规律；109M参数文本JEPA与DINOv2、CLIP图像编码器的对齐优于所评估的语言模型。
要点速读
- 论文提出柏拉图表示定理：正样本对为同一场景的两个好视角时，分别训练的JEPA学到仅差一个旋转的相同表示。
- 作者认为下一词预测是使用坏视角的JEPA，并报告从14.5万条描述到9.4亿网络图像文本的对齐缩放规律。
- 作者报告109M参数文本JEPA与DINOv2、CLIP图像编码器的对齐优于所评估的至多72B参数语言模型及CLIP文本编码器。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。