用隐含信念作可扩展过程奖励训练说服策略

论文用被说服者内部信念信号作稠密过程奖励训练说服策略

资讯摘要

论文提出统一框架：先构建 PersuArena 说服模拟环境，生成真实且非单调的对话轨迹；再提出 Probe-RPO 在线强化学习框架，从冻结的被说服者模型 logits 中读取三项内省探针，将内部状态转化为稠密过程奖励。作者报告在医疗、理财、职场、教育与人际关系场景中，Probe-RPO 接受率达 52.5%，高于最强 GRPO 消融的 35.8% 和最佳现成 LLM 的 25.8%。

要点速读

1. 论文提出 PersuArena 说服模拟环境，用于产生真实、非单调的对话轨迹
2. Probe-RPO 每轮从冻结被说服者模型的 logits 读取三项内省探针，生成多维过程奖励
3. 作者报告接受率 52.5%，对比最强 GRPO 消融 35.8%、最佳现成 LLM 25.8%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。