LEAP 在生产集群预测训练吞吐量以选择硬件,估计省约 3% 计算成本。
资讯摘要
论文提出 LEAP,一个机器学习性能预测服务,在训练任务提交时预测其在各候选硬件类型上的吞吐量,并按单位成本吞吐量排序,用于混合厂商加速器集群的硬件选择。作者报告该服务每天在生产集群中路由数万个训练任务尝试,覆盖数百种模型和 20 多种硬件;在 30 次夜间重训中准确率达 77%,高于其替代的查表方法,且不低于测试过的所有替代模型(含微调语言模型)。六个月内获得 LEAP 排序的合格训练 GPU 小时占比从 58% 升至 95%,估计节省约 3% 训练计算成本。
要点速读
- LEAP 在任务提交时预测各候选硬件吞吐量并按单位成本排序,用于混合厂商集群的硬件选择。
- 作者报告其每天路由数万个训练任务尝试,覆盖数百种模型和 20 多种硬件类型。
- 30 次夜间重训中准确率 77%,高于被替代的查表方法;六个月内排序覆盖率从 58% 升至 95%,估计节省约 3% 训练计算成本。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。