强化学习让用户模拟器兼顾任务与自然度

论文发布 UserLM-2.0，有效模拟对话率达 46.2%。

资讯摘要

论文针对多轮任务中 LLM 助手性能下降的问题，提出一种强化学习方案，同时奖励任务意图遵循与对话行为自然度，并用轻量判别器与用户模拟器交替对抗训练来量化自然度。作者发布 UserLM-2.0，报告其生成同时满足任务忠实与自然度标准的有效模拟对话比例为 46.2%，超过此前最强用户模拟器的 14.1%。

要点速读

1. 论文指出提示式助手能遵循复杂意图但行为保真度不足，专用用户模拟器则相反，存在权衡。
2. 方法用轻量判别器在与用户模拟器的交替对抗循环中训练，将自然度操作化。
3. 作者报告 UserLM-2.0 有效模拟对话率为 46.2%，约为此前最强模拟器 14.1% 的三倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。