DPO超参数需按模型、数据集和评估目标单独调优，验证损失不可靠。
资讯摘要
论文对DPO超参数景观展开研究，使用密集网格在不同模型规模上实验，分析最优学习率与β随模型大小和更新步数的变化，并比较静态与动态基准对超参数选择的信号强度。作者报告最优学习率随模型规模变化，超参数无法跨训练数据集迁移，验证损失与下游最优超参数仅弱相关，因此需针对目标模型、数据集和评估目标单独调参，短候选训练可降低成本。
要点速读
- 论文用密集超参数网格在同类不同规模模型上实验，考察最优DPO超参数随模型大小与更新步数的演化。
- 作者报告最优学习率随模型规模变化，且超参数不能跨训练数据集迁移。
- 验证损失与下游基准最优超参数仅弱相关，短候选训练可显著降低选择成本；训练配置与评估结果已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。