自然语言演员-评论家：语言空间中的可扩展离策略学习

论文用生成自然语言的 LLM 评论家实现离策略训练 LLM 智能体。

资讯摘要

论文提出 Natural Language Actor-Critic（NLAC），用生成式 LLM 评论家输出自然语言而非标量值来训练 LLM 策略，从而在开放动作空间中提供更丰富的训练信号。作者称该方法可离策略训练、无需策略梯度，比现有在线策略方法更省数据且更稳定，并在推理、网页浏览和工具使用对话等任务上报告了优于现有训练方法的初步结果。

要点速读

1. 论文提出 NLAC，用生成自然语言的 LLM 评论家替代标量价值函数，为 LLM 策略提供训练信号。
2. 作者称该方法可离策略训练且不依赖策略梯度，旨在缓解稀疏奖励下轨迹级奖励噪声大、训练不稳定和样本复杂度高的问题。
3. 在推理、网页浏览、工具使用与对话的混合任务上，作者报告 NLAC 有潜力优于现有训练方法。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。