JevAdvBench：类型化决策模型的对抗鲁棒性基准

黑盒攻击可大幅翻转 Jev 等类型化决策模型的正确决策。

资讯摘要

论文提出 JevAdvBench，作者称其为首个针对类型化决策模型（TDM，如 Jev）对抗鲁棒性的统一基准，包含 862 道经审核答案的问题和 12 种通过自适应搜索修改输入或选项的黑盒攻击方法。作者报告，攻击使 Jev 正确决策翻转 46.3%，而相同重跑仅翻转 0.17%；无命令的缺陷论证翻转 77.2%，接近直接提示注入的 92.0%。在八个开源 TDM 上，同类变体翻转 34.0% 至 51.7% 的正确决策；阈值 0.8 时，服务仍执行的决策中有 23.5% 错误。

要点速读

1. JevAdvBench 含 862 道经审核答案的问题和 12 种黑盒攻击方法，仅保留 5,586 个保持答案的变体，且只攻击正确决策。
2. 作者报告攻击翻转 Jev 46.3% 的正确决策，相同重跑仅 0.17%；无命令的缺陷论证翻转 77.2%，直接提示注入为 92.0%。
3. 八个开源 TDM 上同类变体翻转 34.0% 至 51.7%；阈值 0.8 时仍被执行决策中 23.5% 错误；Agentgateway 上 Jev 护栏拒绝越狱请求但接受插入论证的版本。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。