TSBPO：面向交互式语言智能体的树状分支策略优化

论文提出树状采样与更新一体的 TSBPO 训练范式，并在两个交互基准上报告结果。

资讯摘要

论文提出 TSBPO，一种树状结构的采样到更新范式，在同一训练循环中处理交互式语言智能体从终局结果学习时的三个问题：采样哪些任务与状态延续、如何把延迟反馈分配给决策、如何聚合多 token 动作的 token 损失。方法包含似然拟合的 Root/Branch 分配器、轨迹优势与观测组步优势，以及按完整回复求和并跨活跃轮次归一化的策略梯度项。作者报告在 Qwen2.5-1.5B actor 上，ALFWorld 已见与未见随机成功率分别为 97.79% 和 96.64%，WebShop 500 个测试目标每目标六次随机回合的成功率为 81.07%。

要点速读

1. TSBPO 用 Root/Branch 分配器在固定 rollout 预算下选择更可能产生对比终局结果的延续。
2. 轨迹优势比较相邻兄弟片段，观测组步优势在匹配的任务/观测状态上比较结果。
3. 作者报告 ALFWorld 已见 97.79%、未见 96.64% 随机成功率，WebShop 为 81.07%；WebShop 步项消融在 update-100 为 75.93%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。