论文提出 SARL,让模型训练中学会感知搜索状态。
资讯摘要
论文提出自评估强化学习框架 SARL,让检索增强大模型在训练中学会识别自身搜索状态,即已获得哪些信息、还缺什么,从而减少幻觉推理和过早终止搜索,且测试时无需额外评估。作者报告 SARL 采用双重奖励设计,兼顾评估的纠错作用与对过度依赖的惩罚;相对最强基线取得 24.3% 的相对提升,多跳推理和深度研究基准上平均增益分别为 35.9% 和 27.9%。
要点速读
- SARL 是无需推理时额外脚手架的独立强化学习框架,通过双重奖励鼓励有效且高效的搜索轨迹。
- 作者报告其相对最强基线提升 24.3%,多跳推理与深度研究基准平均增益分别为 35.9% 和 27.9%。
- 论文称 SARL 在更长搜索跨度下保持训练稳定,而现有方法在该情形下会退化。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。