多学科AI研究员团队自主搜索出优于GDN2的线性注意力架构。
资讯摘要
论文提出组建由不同学科背景的持久化AI研究员构成的团队，各自保留私有研究历史、共享实验证据，并通过自适应分配获得研究机会，以在有限实验预算下平衡探索与利用。团队被用于搜索线性注意力架构，作者报告其在1.3B规模的语言建模、常识推理及合成与真实检索任务上优于GDN2。消融显示，去掉学科背景、私有历史或自适应分配中的任一项，发现效果均明显变弱。
要点速读
- 团队由不同学科背景的持久化AI研究员组成，各自维护私有研究历史并共享实验证据。
- 研究机会通过自适应分配机制发放，以在实验成本高时平衡探索与利用。
- 作者报告该团队搜索出的线性注意力架构在1.3B规模上优于GDN2；消融实验显示缺少任一组织组件都会削弱发现效果。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。