论文用提示信息让弱模型得分非零，从而改进下游能力预测。
资讯摘要
论文提出 hinted scaling laws，利用特权信息把基准测试转化为一系列更简单的版本，使小模型也能取得非零准确率，从而在噪声阈值以下获得可外推的趋势。作者报告，在 Delphi 预训练阶梯上，仅用不超过 10²⁰ FLOPs 的模型拟合的 hinted scaling law，对 10²³ FLOPs 模型 GSM8K 准确率的预测误差在 3 个百分点以内；在预训练阶梯与后训练模型家族上，该方法把 GSM8K、AIME、HLE 的中位预测误差从 21 个百分点降至 4.3。
要点速读
- 论文指出，标准 scaling law 在弱模型下游准确率接近零时缺乏可外推趋势，预测会失效。
- 作者报告 hinted scaling law 在 Delphi 预训练阶梯上对 10²³ FLOPs 模型 GSM8K 准确率的预测误差在 3 个百分点内，而标准方法低估 13 个百分点。
- 论文称提示还扩大了模型间准确率差距，单次 hinted rollout 的模型排序效果接近五次无提示 rollout。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。