ResNSC将残差上下文纳入容量评分，改进Transformer宽度分配。
资讯摘要
论文提出ResNSC（残差感知神经谱容量），为Transformer各投影的容量计算引入由规格推导的残差更新统计参考，并扩展NSC-DP分配器以纳入残差历史，在资源预算下联合分配残差宽度与前馈宽度。作者报告在121M与374M预训练规模下，所选架构在FineWeb-Edu、WikiText-2、LAMBADA上的平均困惑度低于均匀、变宽与锥形分配；在LLaMA-7B剪枝实验中，八任务平均准确率较NSC提升3.28至5.46个百分点。代码已开源。
要点速读
- ResNSC为每个投影的容量计算引入规格推导的残差统计参考，保留无需数据与实例化权重的加性评估。
- ResNSC-DP在层与预算状态之外加入残差历史，联合分配残差与前馈宽度，并对有限候选集内最优评分给出认证边界。
- 作者报告121M/374M预训练困惑度优于多种分配方案，LLaMA-7B剪枝八任务平均准确率较NSC高3.28–5.46个百分点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。