JoBS 用缩放律预测器替代完整训练，降低联合调参成本。
资讯摘要
论文提出 JoBS，一种基于贝叶斯优化的方法，用于联合优化 LLM 微调的数据与模型配置。针对每轮完整训练成本过高、维度高导致迭代次数多的问题，JoBS 先分配部分预算学习一个受缩放律启发的性能预测器，用少量训练步估计完整训练后的表现，再用剩余预算运行贝叶斯优化，从而在同等预算下探索更多配置。作者分析了平均遗憾并给出预算分配方案，报告其在多类下游任务上优于独立优化与现有多保真贝叶斯优化基线，代码已公开。
要点速读
- JoBS 不在每轮迭代中执行完整 LLM 训练，而是先用部分预算学习从少量训练步预测完整训练性能的预测器。
- 剩余预算用于基于该预测器的贝叶斯优化，以在相同预算下探索更多数据与模型配置。
- 作者分析了平均遗憾并推导预测器学习与 BO 迭代之间的最优预算分配；论文报告其在多类下游任务上优于独立数据/模型优化方法和现有多保真 BO 基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。