论文用共同训练LLM评判器把参考答案变成唯一奖励信号
资讯摘要
论文提出Reinforced Adversarial Learning（RAL），用共同训练的LLM评判器把参考答案转化为唯一奖励信号，用于推理LLM的在线策略后训练。作者在整数乘法、代码算术表达式合成和SMILES转分子式三个可验证任务上验证，仅用验证器做评估，训练充分时RAL可匹配直接RLVR。作者还将RAL用于科学摘要生成，称人类科学家与LLM评判集成更难区分其生成摘要与真实摘要。
要点速读
- RAL以共同训练的LLM评判器将参考答案作为唯一奖励，无需显式可验证奖励或参考推理轨迹
- 在三个可验证任务上仅用验证器评估，训练充分时RAL与直接RLVR表现相当
- 应用于科学摘要与NIH基金摘要生成，作者报告人类科学家和LLM评判集成更难区分其生成结果与真实摘要
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。