RL后训练的对数概率比可直接充当智能体步级评分信号
资讯摘要
论文提出，面向智能体的过程奖励模型因长程交互、不可逆动作和随机环境反馈而难以构建。作者从一般随机马尔可夫决策过程推导出“进展优势”，即RL训练策略与参考策略的对数概率比恰好恢复最优优势函数，该信号无需标注、与领域无关，可作为标准RL后训练流程的副产品获得。作者在五个基准和四个模型家族上验证了其在测试时扩展、不确定性量化和失败归因三类应用中的效果。
要点速读
- 论文提出进展优势：RL训练策略与参考策略的对数概率比可恢复最优优势函数，无需专门训练奖励模型
- 该信号无需人工标注、与领域无关，可直接从标准RL后训练流程中获得
- 作者在五个基准、四个模型家族上测试测试时扩展、不确定性量化和失败归因，报告其优于基于置信度的基线，并超过专门训练的奖励模型
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。