回到最新动态
论文更新 / THE SIGNAL

自演化智能体框架的组合式安全失效与运行时监控

Compositional Safety Failures in Harness Evolution: Identification and Runtime Monitoring

重要性 5.5 AI 辅助整理

论文识别出智能体框架组件更新间的组合式安全失效并提出超图监控。

资讯摘要

论文研究自演化智能体框架(harness evolution)中的组合式安全失效:记忆、提示、技能、工具等组件各自安全且保持效用的更新,在跨组件交互后可能产生不安全行为。作者在三个安全相关基准上识别出43个两两组合失效和18个不可约的三元组合失效,并提出以类型化超图表示组件状态与高阶交互、仅更新受影响邻域的运行时监控机制。

要点速读

  1. 论文将记忆、提示、技能、工具的持续更新称为harness evolution,指出跨组件更新交互的安全分析此前基本未被考察。
  2. 在三个安全相关基准上,作者报告识别出43个两两组合安全失效和18个不可约的三元组合安全失效。
  3. 作者提出类型化超图表示与超图引导的运行时监控,实验称可缓解组合安全风险、保持任务效用并降低交互检查成本。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开