论文提出RSD指标,可逐轮评估智能体行为一致性并用作微调奖励。
资讯摘要
论文提出递归语义分歧(RSD),一种无监督的轨迹级一致性指标,借鉴强化学习中的双模拟度量,用自然语言推理检测同一智能体从相同状态出发两次独立运行之间的逻辑不一致,并递归定义于未来状态、由神经网络近似。作者报告,将RSD作为微调奖励信号后,tau2-bench任务进度波动从132%降至91%,toolsandbox从90%降至44%,并在多个基准和模型规模上提升表现,且无需真实标签。
要点速读
- RSD用自然语言推理衡量同一智能体从相同状态出发两次独立运行的累积语义分歧,可逐轮给出一致性分数,无需等完整轨迹结束。
- 作者报告以RSD为额外奖励信号微调后,tau2-bench任务进度波动由132%降至91%,toolsandbox由90%降至44%。
- 论文称该训练方式在多个基准和模型规模上提升表现,效果与监督微调相当且方差更低,不需要真实标签。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。