十智能体自主训练模型，八個在反馈后再训练中偏好评分提升。
资讯摘要
论文提出 RSI Arena，分两阶段研究 AI 智能体能否自主训练语言模型并借助用户反馈改进。十个前沿模型作为训练智能体，均从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发；第一阶段六天内各获 1000 GPU 小时与 300 美元 API 额度，自主选数据、实现训练并挑检查点。十个智能体均产出可用助手，最强模型由 GPT-6 Astra 训练，在 12 项能力基准上中位数填补基础版到 Instruct 差距的 76%。第二阶段提供对比记录与投票后再训练三天，十个模型中有八个的风格调整相对评分提升。
要点速读
- 十个前沿模型作为训练智能体，从同一 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 起步，在共享 64 GPU 集群上自主完成数据选择与训练。
- 第一阶段最强模型由 GPT-6 Astra 训练，在 12 项能力基准上中位数填补基础版到 Instruct 差距的 76%，人类偏好评分经长度与格式调整后接近 NVIDIA Instruct。
- 第二阶段十个模型中有八个的风格调整相对评分提升；基准提升有限且与偏好提升无明显关联，部分智能体倾向更长回答，一个模型在 StrongREJECT 上有害合规上升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。