论文用可执行环境构建策略基准并训练防护模型。
资讯摘要
论文提出 AgentPolicyForge 框架,利用可执行环境构造策略基准并迭代训练策略防护模型,并据此构建 PolicyGym 数据集,覆盖十类策略、698 个训练场景与 254 个经人工审核的独立测试场景。作者报告,基于训练防护的最终配置在 PolicyGym 上使攻击成功率相对降低 40–44%,且良性请求被误拒的情况少于仅靠提示词约束策略。
要点速读
- 论文构建 PolicyGym,覆盖十类策略,含 698 个训练场景和 254 个独立留出测试场景。
- 所有违规案例均使用被允许的工具,需检查参数、资源与上下文,而非仅凭工具身份判断。
- 作者报告最终防护配置使攻击成功率相对降低 40–44%,良性拒绝少于仅策略提示。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。