算力匹配下合成预预训练未优于纯自然语言训练。
资讯摘要
论文报告在算力匹配实验中，将算力分配给合成预预训练（PPT）始终不如纯自然语言训练。该结论覆盖四种PPT课程（k-Dyck、神经细胞自动机NCA、声明式参考语料、代码）和三种训练机制，包括881M参数、50B token的高token参数比设置。自然语言稀缺时，重复100M token语料多轮优于所有合成课程。作者还发现既往PPT收益对权重初始化方案敏感，并指出模型会在后续自然语言训练中遗忘PPT所学内容。
要点速读
- 算力匹配下，四种PPT课程均未超过纯自然语言训练，且无一致下游准确率优势。
- NCA复现中，原初始化方案可复现5.4%困惑度改善；改用另一初始化后两种方法均提升，但无PPT基线提升更多，差距缩小。
- PPT获得额外算力而非占用自然语言预算时，小自然语言预算下仍有收益，但到1B token时消失；交错训练可防遗忘但未显著提升自然语言表现。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。