资讯摘要
论文提出 Self-Credit,一种端到端智能体强化学习方法,针对 RLVR 奖励稀疏导致长程任务信用分配困难的问题,利用模型在 rollout 中生成带引用的摘要作为自生成信用,再通过组内重缩放比较同一提示下成功与失败轨迹中被引用的动作,去除不当信用并强化关键动作,最后用重缩放后的信用权重调整被引用轮次的优势值。作者报告在 BrowseComp-Plus 上较基座模型提升 37.0 和 36.2 分,并优于最强智能体 RL 基线。
要点速读
- Self-Credit 由三部分组成:rollout 中生成带引用的摘要作为自生成信用;组内重缩放比较成功与失败轨迹中被引用的动作;用重缩放信用权重对相应轮次的优势值进行重加权。
- 在 BrowseComp-Plus 上,作者报告较 Qwen3 8B 和 32B 基座模型分别提升 37.0 和 36.2 分,较最强智能体 RL 基线分别高 8.5 和 5.6 分。
- 作者报告在 GAIA 上较最强基线提升 4.9 分,在 xBench-DeepSearch 上提升 4.7 分,并称组内重缩放(尤其在失败轨迹上)在不同模型规模下均重要。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/22 08:00:25(北京时间)。