回到最新动态
研究论文 / THE SIGNAL

NURESA:把持久记忆作为神经网络一等原语

Neurons Are All You Need

重要性 6.5 AI 辅助整理

论文提出将持久记忆作为神经层原语,实现模型间零样本能力迁移。

资讯摘要

论文提出 NURESA(Neural Unit with Retentive Self-Adaptive Architecture),在神经单元内引入持久记忆作为计算原语,使计算与持久记忆在结构上分离,从而支持记忆的自主积累与整合。作者报告在 MLP、GPT-2 和 Qwen2.5 上的实验显示,模型可零样本将学到的能力迁移到未训练的新实例,无需重训或访问原始训练数据;该迁移由模型依据神经元活跃度自行选择的稀疏参数集实现,并可缓解 Transformer 微调中的领域损失。

要点速读

  1. 论文提出 NURESA 神经层,将持久单元内记忆作为一等计算原语,不再仅依赖突触权重更新。
  2. 作者报告在 MLP、GPT-2、Qwen2.5 上实现零样本能力迁移,无需重训或原始训练数据,并称可缓解微调中的领域损失。
  3. 作者称迁移过程约一分钟完成,生成的迁移文件比原模型小数个数量级。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开