论文发现开放式提示上的RLHF可跨域提升推理与编程。
资讯摘要
论文在多个基座模型上做受控实验，固定优化器与训练提示数量，仅改变提示来源域（数学、多领域、聊天及混合）与奖励方式，比较RLVR与RLHF的收益迁移。作者报告：在开放式提示上做RLHF显著提升对话能力，并在推理与编程上带来较大增益；RLVR提升推理，但在开放式对话上的增益远低于RLHF，趋于平台期。
要点速读
- 实验固定优化器与训练提示数量，只改变提示来源域和奖励类型（验证器或奖励模型）。
- 作者报告开放式提示上的RLHF大幅提升对话能力，并在推理和编程上带来较大增益。
- 作者报告RLVR改善推理，但其开放式对话增益远低于RLHF并趋于平台期。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。