回到最新动态
交叉发布 / THE SIGNAL

JevBreak:限制输出不等于限制攻击影响

JevBreak: Your Model, Their Decision

重要性 6.5 AI 辅助整理

固定答案集只约束输出形式,不约束决策来源。

资讯摘要

论文提出黑盒攻击 Slot Attack,针对决策类模型,仅利用返回的标签概率,将拼接文本追加到证据中,把原本正确的判断导向攻击者指定的错误选项。作者在托管 API、开放权重模型和编码器共七个决策模型、七个领域 16 项任务上测试,初始正确决策的攻击成功率为 32%–99%,中位 17–72 次查询即可找到有效组件组合。论文报告准确率与置信度无法可靠暴露该漏洞,置信度阈值也难以筛除攻击。

要点速读

  1. Slot Attack 仅依赖返回的标签概率,通过拼接命名组件文本实施黑盒攻击。
  2. 在七个决策模型上,初始正确决策的攻击成功率为 32%–99%,中位 17–72 次查询找到有效组合。
  3. 作者报告约 20% 的 JEV 模型正确决策、77% 的 gpt-6-luna 和 98% 的 GLiNER2.5 可被强制导向每一个错误选项。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开