论文用120组配置研究虚拟世界具身预训练的缩放规律。
资讯摘要
论文研究持续预训练能否让具身智能体适应视觉风格、动态、控制与目标各异的虚拟世界，在数据量、多样性与模型规模三个维度上做了120组训练配置，覆盖0.8B至27B四种模型、50至1600小时六档数据预算及五种数据混合。作者报告：数据增多提升语料内表现，多样性改善向相关世界的迁移，单世界训练下大模型数据效率更高但向远距离世界泛化更差；并拟合出验证损失与三者的经验缩放律。
要点速读
- 实验覆盖0.8B到27B四种模型规模、50至1600小时六档数据预算和五种数据混合，共120组配置。
- 作者报告数据量提升语料内表现，多样性提升向相关世界迁移但对远距离世界增益有限。
- 模型在3D世界中与Minecraft专用模型及前沿模型表现相当，实时场景最佳，但远距离世界仍存持续差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。