RWML用自监督世界模型奖励提升LLM智能体表现。
资讯摘要
论文提出强化世界模型学习（RWML），一种自监督方法，用sim-to-real gap奖励在文本状态上为LLM智能体学习以动作为条件的世界模型，使模型模拟的下一状态与环境中实际观测的下一状态在预训练嵌入空间中保持一致。作者称该方法无需专家数据、任务成功奖励或强LLM标注，仅用现成嵌入模型作距离度量；在ALFWorld和τ² Bench上较基座模型有明显提升，与任务成功奖励结合后分别比直接任务成功奖励RL高6.9和5.7分。
要点速读
- RWML用sim-to-real gap奖励对齐模拟下一状态与真实观测下一状态，避免下一状态token预测偏重字面复现的问题。
- 作者报告无需专家数据、任务成功奖励或强LLM标注，仅用现成嵌入模型作为距离度量。
- 在ALFWorld和τ² Bench上，与任务成功奖励结合后分别比直接任务成功奖励RL高6.9和5.7分。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。