Heads of Security：学习式注意力门提升提示注入鲁棒性

学习式注意力门让提示注入攻击成功率降至10%。

资讯摘要

论文提出 Heads of Security（HoS），通过一小组可学习的逐头注意力门实现指令与数据分离，让模型在推理不可信内容时不执行其中注入的指令。作者在 Llama-3.3-70B-Instruct 与 GPT-OSS-20B 上对比 SecAlign++ 和 ASIDE：黑盒 RL-Hammer 攻击对 GPT-OSS-20B 和 SecAlign 的攻击成功率分别为 97% 和 85%，对 HoS 仅 10%；白盒攻击 Claudini 对 HoS 需约 3 倍 FLOPs 才能达到同等成功率。HoS 在标准基准上保持基座模型效用，而 SecAlign 与 ASIDE 在少样本设置下有所下降。

要点速读

1. HoS 用可学习的逐头注意力门在可信与不可信 token 间重新分配注意力，实现指令-数据分离。
2. RL-Hammer 攻击成功率：GPT-OSS-20B 97%、SecAlign 85%、HoS 10%。
3. HoS 在标准选择题基准上保持基座效用，SecAlign 与 ASIDE 在少样本设置下退化。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。