资讯摘要
论文提出 UltraData-Code 分层代码数据体系，含 L0 仓库归档、L1 标准化代码、L2 算法筛选、L3 任务化合成四个状态。作者报告 L2 约 400B tokens、L3 约 150B tokens，覆盖 11 种编程语言；在 1B 模型 10B token 持续预训练下，L2 在 EvalPlus 和 MultiPL-E 上较 L1 提升 pass@1，用 L3 替换半数 L2 训练 token 后进一步提升。数据集与分类器已发布。
要点速读
- 论文将代码数据分为 L0 至 L3 四个状态，分别对应仓库归档、标准化、算法筛选与任务化合成。
- 作者报告 L2 约 400B tokens、L3 约 150B tokens，覆盖 11 种编程语言。
- 在 1B 模型、10B token 持续预训练设置下，L2 较 L1 在 EvalPlus 提升 7.80pp、MultiPL-E 提升 5.13pp；以 L3 替换半数 L2 token 后分别再提升 8.42pp 和 8.07pp。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:31（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。