资讯摘要
论文提出 PRECOCIAL，用 LLM 迭代改写生成合成预训练数据的程序，并以随机初始化 transformer 的预训练加下游微调得分作为评分。搜索全程复用同一网络，对每个被接受的程序继续预训练，而非为每个候选重新训练。作者报告在四个语言与代码数据集上，优化程序困惑度低于手工课程、已发表程序生成器、随机变异及首轮程序，并以少 9–33% 微调步数达到手工课程同等困惑度。
要点速读
- PRECOCIAL 从初始生成程序出发，由 LLM 迭代改写，每次改写通过预训练加下游微调评分。
- 整个搜索只保留一个网络，对接受的程序继续预训练，以降低逐候选训练的开销。
- 作者报告在四个数据集上，优化程序以少 9–33% 微调步数达到手工课程同等困惑度，并在相同评估次数下困惑度低于 FunSearch 和 AlphaEvolve。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。