论文发现奖励信号对direct ICRL改进影响很小，其更像ICL。
资讯摘要
论文研究直接上下文强化学习（direct ICRL），即模型直接以原始轨迹-奖励对为条件，检验奖励是否充当学习信号。作者在四个基准、六个模型上做受控实验，发现奖励虽被读取但影响很小：翻转、随机化或移除奖励后，改进曲线几乎不变，即使元提示要求模型探索、利用或推理奖励也如此。轨迹能带来改进，但与语义内容无关，打乱或损坏的轨迹效果与真实轨迹相当。作者认为这些模式与ICL已知现象高度相似，direct ICRL更应视为ICL的特例，而非推理时RL。
要点速读
- 论文在四个基准、六个模型上测试direct ICRL，发现翻转、随机化或移除奖励后改进曲线几乎不变。
- 打乱或损坏的轨迹与真实轨迹效果相当，说明改进并非来自轨迹语义内容。
- 作者据此提出direct ICRL更接近ICL，并认为输入分布与示例等ICL因素可能比奖励塑形、探索等RL要素更重要。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。