论文把通用数据当作正则化器来约束后训练更新方向。
资讯摘要
论文提出 Dr. Post-Training 框架，不再把通用训练数据当作筛选池，而是将其视为数据诱导正则化器，用于防止模型对稀缺目标数据过拟合。方法在每步训练中用通用数据构造可行更新方向集合，再把目标数据指定的更新投影到该集合上；标准训练与现有数据选择方法被视为不同正则强度下的特例。作者报告在 SFT、RLHF、RLVR 实验中优于标准训练和数据选择基线，并称系统优化使额外开销很小。
要点速读
- 论文将通用训练数据重新定义为数据诱导正则化器，而非数据选择池。
- 方法在每步用通用数据构造可行更新方向集合，并投影目标数据给出的更新方向。
- 作者报告在 SFT、RLHF、RLVR 上优于标准训练与先进数据选择基线，数据错位越大增益越明显。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。