HyperRepair 仅用推理成本恢复微调模型通用能力
资讯摘要
论文提出 HyperRepair 框架，用于在保留领域专精的同时恢复微调后语言模型削弱的通用能力，且仅在推理阶段付出成本。该方法从源模型上的修复训练中学习超网络，利用激活指纹生成定制的 Repairing Side Net（RSN），其提示条件门控可选择性施加修正，从而在未见适配领域上无需目标域样本或额外优化即可恢复。作者在两个模型家族、12 个 LoRA 适配数据集和 15 个通用基准上评估，默认划分下达到基座模型平均通用分数的 93.4%，同时保留微调模型平均领域分数的 99.5%。
要点速读
- HyperRepair 通过超网络学习修复，利用激活指纹生成 Repairing Side Net，并以提示条件门控选择性修正。
- 该方法可在未见适配领域上恢复通用能力，无需目标域样本或额外优化，仅增加推理成本。
- 作者报告在 12 个 LoRA 适配数据集和 15 个通用基准上，默认划分下保留基座模型 93.4% 的平均通用分数与微调模型 99.5% 的平均领域分数。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。