NormTune 按权重更新范数加强欠适配层，提升 PEFT 推理表现。
资讯摘要
论文观察到，参数高效微调（PEFT）在推理密集型任务上与全量微调存在明显差距，并将其与权重更新范数偏小的“范数欠适配”现象联系起来。作者据此提出 NormTune，按各层权重更新范数自适应加强对更新不足层的调整。实验称，在 S1K-1.1 上训练后，该方法在 AIME 2024、MATH 500、GPQA 和 AIME 2025 上提升了多种 PEFT 方法的平均准确率。
要点速读
- 论文将 PEFT 与全量微调在推理任务上的性能差距归因于范数相关的欠适配，即 PEFT 的权重更新范数明显更小。
- NormTune 依据各层权重更新范数，自适应加强对更新不足层的调整。
- 作者报告：在 S1K-1.1 上训练，rank-8 LoRA、Bone、MoRA 结合 NormTune 后，在上述四个基准上的平均准确率分别提升 24.24%、11.33%、16.21%；rank-256 版本的平均表现与 S1 全量微调相当或略高。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。