LaLa-World：用自然语言动作扩展潜在世界模型

论文用语言统一动作与视觉变化，跨域训练潜在世界模型。

资讯摘要

论文提出 LaLa-World，一种语言条件化的潜在世界模型（LWM），将数值动作与视觉变化都用语言描述，从而在仿真、机器人轨迹及图像视频数据上联合训练单一未来预测器。作者报告其平均 MPC 规划性能优于按领域或任务分别训练的现有 LWM，加入图像视频数据还能提升规划表现与对动作措辞的鲁棒性；与基于 RAEv2 的视频生成基线相比，训练成本约为其 1/6、规划快 13.9 倍。预训练模型还可初始化为 LaLa-Policy，在 LIBERO 与 RoboCasa 上与 Cosmos Policy 表现相当，推理最高快 5.5 倍。

要点速读

1. 论文将数值动作和视觉变化统一用语言描述，使单一预测器可跨异构数据集联合训练。
2. 作者报告 LaLa-World 平均 MPC 规划性能超过按领域或任务单独训练的 LWM，加入图像视频数据后进一步提升并增强对动作措辞的鲁棒性。
3. 与 RAEv2 视频生成基线相比，论文称训练成本少 6 倍、规划快 13.9 倍；LaLa-Policy 在 LIBERO 和 RoboCasa 上与 Cosmos Policy 相当，推理最高快 5.5 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35（北京时间）。