NeuNeu：用神经网络预测缩放规律

NeuNeu 用神经网络直接预测下游缩放，MAE 较逻辑缩放规律降 44%。

资讯摘要

论文提出 NeuNeu，将下游任务性能的缩放规律预测建模为时间序列外推，结合已观测准确率轨迹与 token 级验证损失，不预设具体函数形式。作者报告，仅用 HuggingFace 开源模型检查点训练，在 66 个下游任务上预测准确率的平均绝对误差为 1.99%，较逻辑缩放规律的 3.56% 降低 44%，并可零样本泛化到未见模型家族、架构、参数量与任务。

要点速读

1. 论文指出，验证损失等聚合指标虽呈平滑幂律，但各下游任务缩放行为不一，有的单调提升、有的平台化、有的随规模下降。
2. NeuNeu 将缩放规律预测视为时间序列外推，融合准确率轨迹与 token 级验证损失，避免假设固定参数族。
3. 作者报告在 66 个下游任务上 MAE 为 1.99%，逻辑缩放规律为 3.56%，并称可零样本泛化到未见模型与任务。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。