德语实验显示重复高质量数据优于扩大未过滤数据量。
资讯摘要
论文针对德语等非英语高资源语言的数据过滤取舍展开研究：对5亿篇网页文档施加分层质量过滤，比较多轮重复训练过滤子集与单次训练更大但过滤较少的语料。作者报告，在多种模型规模和token预算下，重复高质量数据始终优于单次训练更大、过滤更少的集合，且差距在7个epoch后仍存在。团队发布德语模型Boldt及清洗后的评测基准，并称其以少10至360倍的token达到当前最优结果。
要点速读
- 对5亿篇德语网页文档应用分层质量过滤器，比较重复训练过滤子集与单次训练多样化语料。
- 作者报告重复高质量数据在多种模型规模和token预算下均优于单次训练更大、过滤更少的集合，差距在7个epoch后仍存在。
- 发布德语模型Boldt和清洗后的评测基准，称其训练token比同类模型少10至360倍仍取得当前最优结果。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。