论文提出用视觉语言模型预测未来语义而非像素来做机器人规划。
资讯摘要
论文提出“语义世界模型”，认为世界模型不必重建未来像素，只需预测与任务相关的未来语义信息，并将世界建模表述为关于未来帧语义信息的视觉问答问题。作者据此用图像-动作-文本数据对视觉语言模型做监督微调，使其成为可用于决策规划的世界模型，并继承预训练VLM的泛化与鲁棒性。在模拟机器人任务上的验证显示，该方法优于典型的基于重建的动作条件世界模型。
要点速读
- 论文指出预测未来像素的目标常与实际规划目标不一致，像素重建效果好不一定对应好的规划决策。
- 作者将世界建模转化为关于未来帧语义信息的视觉问答问题，并用图像-动作-文本数据监督微调视觉语言模型。
- 在模拟机器人任务上，该方法相较基于重建的动作条件世界建模范式取得改进。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。