TopKLoRA 用稀疏可解释适配器定位并消融模型后门电路。
资讯摘要
论文提出 TopKLoRA，一种按设计可解释的 LoRA 变体：每个 token 仅激活 k 个最大的适配器隐变量，且仅用下游损失训练。作者在 gemma-2-2b、Qwen2.5-1.5B 与 Qwen2.5-7B 上构造后门模型，定位并消融出对后门既必要又充分的电路；所得稀疏电路比稠密 LoRA 基线小至多一个数量级，消融恶意能力时未牺牲指令跟随性能。作者还提出用 TopKLoRA 隐变量与梯度路由构造局部化电路模型的方法，并公开代码。
要点速读
- TopKLoRA 每个 token 只激活 k 个最大适配器隐变量，仅用下游损失训练，不依赖 SAE。
- 在 gemma-2-2b、Qwen2.5-1.5B、Qwen2.5-7B 的投毒指令数据后门案例中，作者定位并消融了必要且充分的后门电路。
- 作者报告稀疏电路比稠密 LoRA 基线小至多一个数量级，消融后指令跟随性能未受损，并公开代码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。