用梯度追踪微调数据中的安全退化来源

梯度过滤可移除微调数据中隐性有害样本并降低攻击成功率。

资讯摘要

论文提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，用于识别微调数据中与不安全行为梯度对齐的样本。作者报告，该方法在错位模型的梯度空间中对不安全代码训练数据的 AUC 最高达 0.865；据此构建的 SafeTulu 移除了与不安全回复梯度最对齐的 20% 样本，在 Qwen、Llama、Olmo 上使 GCG 攻击成功率最多降低 22%，能力基本保持或提升。作者还发布 SafeTulu 及可自定义过滤比例的 Hugging Face Space。

要点速读

1. SimpleLoRIF 简化低秩归因方法，并将反向传播限制在最后四个 transformer 块，可处理百万级样本数据集。
2. 在 SafeTulu 上训练使 GCG 攻击成功率最多降低 22%，优于 LLM-as-a-judge 和此前的梯度过滤方法。
3. 作者分析被移除数据，指出工具执行失败、叙事算术等此前较少关注的安全退化来源。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。