RLiD 直接优化动作选项概率，ALFWorld 成功率达 99.3%。
资讯摘要
论文提出 RLiD 框架，不再按 token 级强化学习优化，而是直接优化可执行动作选项的概率：把观测、可选紧凑记忆和带标签的动作菜单编译进模型输入，由大型决策模型（LDM）单次前向选择动作，从而避免无效动作输出并提升 rollout 效率。作者报告在 ARC、Countdown、Sokoban 上性能或计算成本改善；ALFWorld 上完整训练与蒸馏流程用 12.7 H100 GPU 小时达到 99.3% 成功率，同模型 token 级 RL 为 17.3 小时、86.6%。
要点速读
- RLiD 将观测、可选紧凑记忆与带标签动作菜单编译为输入，由 LDM 单次前向选择动作，省去自回归生成与动作解析。
- 作者分析称，对同一动作的不同自然语言表述做边缘化可去除零均值梯度分量，不改变期望更新。
- ALFWorld 上完整流程 12.7 H100 GPU 小时达 99.3% 成功率；带编译记忆的 Qwen2.5-1.5B LDM 及蒸馏生成模型在 134 个未见和 140 个已见评估游戏中均达 100%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。