FARO：函数空间自适应优化器

FARO 用等风险贡献自动分配参数块更新预算，效果接近手工配方。

资讯摘要

论文提出 FARO，一种函数空间自适应优化器，以参数分块为决策单位：按各块的反事实回报确定几何，再依据组合理论中的等风险贡献（ERC）原则重新分配冻结的块级预算。在 FineWeb 上训练的 GPT 风格模型上，FARO-Adaptive 达到 3.2780 nats，与手工设计的 NorMuonAndAdam（3.2794）相当；FARO-ERC 在 6 个随机种子上均降低干净数据损失，平均 0.0136 nats。代码已开源。

要点速读

1. FARO-Adaptive 在完整训练计划下达到 3.2780 nats，接近最佳手工配方 NorMuonAndAdam 的 3.2794。
2. FARO-ERC 在全部 6 个种子上降低干净数据损失，平均 0.0136 nats，且不增加时间或内存开销。
3. 该方法通过削减风险最高的块而非扩大最安全的块来分配预算，在数据流受污染时仍能降低平均损失。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。