回到最新动态
交叉发布 / THE SIGNAL

伪造提示结构可绕过LLM安全护栏

Fooling LLM Safety Guards into Judging the Wrong Text

重要性 6.5 AI 辅助整理

伪造提示结构可让多种LLM安全护栏放行有害请求。

资讯摘要

论文提出一种名为“目标重绑定”的攻击:在待检内容后追加伪造的查询与无害诱饵,使安全护栏转而评判最后出现的完整任务,从而放行有害请求。在预注册测试中,该手法让75条被Shieldstral-1.0-3B标记的AdvBench请求全部通过;在GuardRebind基准上,五种护栏各自存在一种攻击族可清空至少93%的已标记样本。作者报告,训练护栏按内容最有害部分打分,可将攻击成功率从75%降至0.8–1.6%,但分数引导搜索仍在50条中47条上获胜。

要点速读

  1. 论文将攻击称为target rebinding:护栏评判输入中最后一个完整任务,追加的伪造查询与诱饵使有害请求原样通过。
  2. 预注册测试中,追加伪造查询和诱饵清空了Shieldstral-1.0-3B标记的全部75条AdvBench请求;而“忽略上文”指令无效,换成有害诱饵则攻击失败。
  3. GuardRebind基准上五种护栏各有一种按护栏挑选的攻击族清空至少93%的已标记项;训练护栏按最有害部分打分后,攻击成功率降至0.8–1.6%,但分数引导搜索仍在50条中47条上成功。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开