LoRA 微调的记忆泄露风险低于全量微调

论文称 LoRA 微调的记忆风险显著低于全量微调。

资讯摘要

一篇论文重新考察大语言模型微调中的记忆现象，指出 LoRA 微调与预训练、全量微调存在差异：模型规模、数据重复等因素在 LoRA 下并不遵循相同趋势。作者采用更宽松的基于相似度的记忆度量，报告 LoRA 相比全量微调显著降低记忆风险，同时仍保持较强的任务表现。

要点速读

1. 论文聚焦 LoRA 这一参数高效微调方法中的记忆问题，称此前研究多集中于预训练。
2. 作者报告模型规模、数据重复等在全量微调中影响记忆的因素，在 LoRA 下趋势不同。
3. 采用基于相似度的记忆度量，论文称 LoRA 显著降低记忆风险且任务性能仍强。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。