Dwell 让 VLM 智能体在潜空间中想象并学习行动。
资讯摘要
论文提出 Dwell，一种基于模型的强化学习框架，将预训练视觉语言模型重构为循环潜空间转移算子，使其同时充当世界模型与策略，在潜空间中预测、调整并行动。作者报告，该智能体既能从真实交互中学习评估动作结果，也能从潜空间想象中改进行为；在五个交互式视觉环境中，Dwell 在可训练方法中取得最强整体表现，并大幅降低想象所需算力。作者认为，有效的世界模型不必重建未来，只需预测对行动有用的未来。代码已公开。
要点速读
- Dwell 将 VLM 重构为循环潜空间转移算子，兼作世界模型与策略。
- 智能体从真实交互和潜空间想象两方面持续学习。
- 在五个交互式视觉环境中，Dwell 在可训练方法中整体表现最强，并降低想象算力。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。