稀疏微调实现参数高效对抗训练

论文提出 SAFT，仅更新约 5% 参数即可接近全参数对抗训练。

资讯摘要

论文从参数空间角度重新审视参数高效对抗微调，通过梯度分析发现对抗优化高度集中于少量参数，称为鲁棒性关键参数（RCPs），表明鲁棒性编码在稀疏子空间中。基于此提出 Sparse Adversarial Fine-Tuning（SAFT），利用对抗梯度显著性识别 RCPs，仅更新这些参数并冻结其余参数。作者报告在多种架构和数据集上，SAFT 以更少可训练参数在干净与鲁棒准确率上优于基于 LoRA 的方法，仅更新约 5% 参数即可接近或超过全参数对抗训练。

要点速读

1. 梯度分析显示对抗优化集中于少量鲁棒性关键参数（RCPs）
2. SAFT 通过对抗梯度显著性识别 RCPs，仅更新这些参数
3. 作者报告仅更新约 5% 参数，鲁棒性接近或超过全参数对抗训练

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。