关系型 Transformer 预训练竞速榜以单卡耗时排名，作者配方 305.63 秒达标。
资讯摘要
论文提出 modded-nanoRT，首个面向 Relational Transformers 的预训练竞速排行榜，以单卡达到质量目标的实际耗时排名，降低试错门槛。作者通过校准六个候选数据库，选出能区分改进与随机噪声的留出库。其配方结合 typed trilinear attention、Muon 与 SIGReg，在单张 NVIDIA H200 上以 305.63 秒达标，作者报告比参考实现快 8.11 倍。
要点速读
- 论文提出 modded-nanoRT，首个 Relational Transformers 预训练竞速排行榜，按单卡达到质量目标的实际耗时排名。
- 作者用 45 分钟学习曲线校准六个候选数据库，选出能区分改进与种子噪声的留出库。
- 作者报告其配方在单张 NVIDIA H200 上 305.63 秒达标，比参考实现快 8.11 倍，并在开发库之外的 15 组对比中胜出 13 组。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。