论文提出 RL-IF 与 RINSE，用于在线 RL 的非局部数据归因与过滤。
资讯摘要
论文针对在线强化学习数据归因只关注单轮局部影响的问题，提出轨迹级留一法量 RL-LOO，并推导一阶估计器 RL-IF，同时刻画优化效应与策略采样效应。作者在平滑性假设下给出近似精度保证，并指出仅用优化效应即可较好近似完整估计器。基于此提出数据过滤方法 RINSE，在标准控制基准和 RLHF 式毒性缓解实验中报告训练效率与最终性能优于 PPO 及局部归因基线。
要点速读
- 论文形式化在线 RL 数据归因，提出轨迹级留一法量 RL-LOO，衡量样本在后续在线更新后对下游目标的影响。
- 推导一阶估计器 RL-IF，同时传播优化效应与策略诱导的采样效应，并在平滑性假设下给出近似精度理论保证。
- 基于分析提出数据过滤方法 RINSE，在控制基准与 RLHF 式毒性缓解设置中报告优于 PPO 和局部归因基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。