多样性采样可在保持性能下大幅缩减预训练数据与时间。
资讯摘要
论文研究预训练数据多样性的影响，目标是缩小预训练数据集规模并保持可比性能。作者比较多种多样性驱动采样算法，用其中最优者在固定算力预算下预训练多个法语 ModernBERT，并在多项法语基准上微调评估，与同规模随机采样数据预训练的模型对比。作者报告：随机与多样性采样均可将预训练数据减少最多 94%、预训练时间减少最多 73% 而维持性能；部分任务上多样性采样模型仅头部微调的质量高出最多 10 分。
要点速读
- 论文比较多种多样性驱动采样算法，并用最优者在固定算力预算下预训练多个法语 ModernBERT。
- 作者报告随机与多样性采样均可将预训练数据减少最多 94%、预训练时间减少最多 73% 且维持性能。
- 部分任务中，多样性采样模型经仅头部微调估计的固有质量比随机采样高最多 10 分。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。