Janus 训练防护模型预判长程智能体延迟风险并在执行前拦截。
资讯摘要
论文提出 Janus,一个面向长程智能体安全的前瞻性框架,训练防护模型从部分轨迹中预判延迟风险。Janus 通过多智能体模拟合成多样化轨迹,学习同时承担安全相关未来预测与安全裁决的共享策略,并用 CoAA-RL 联合优化两项任务。所得防护模型 Vanguard 可在动作执行前拦截不安全操作。作者报告,在四个智能体安全基准上,Vanguard 平均防护效果较基线提升 15.9 个百分点,良性任务完成率提升 5.1 个百分点。
要点速读
- Janus 通过多智能体模拟合成多样化智能体轨迹,用于训练防护模型。
- 框架包含预测安全相关未来与基于观测前缀和预测未来做安全裁决两项耦合任务,并以 CoAA-RL 联合优化。
- 作者报告 Vanguard 在四个基准上平均防护提升 15.9 个百分点,良性任务完成率提升 5.1 个百分点。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。