回到最新动态
论文更新 / THE SIGNAL

LLM智能体安全:规范、验证与执行综述

Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement

重要性 5.5 AI 辅助整理

综述称现有方法无法同时满足健全性、完备性与实用性。

资讯摘要

一篇系统综述梳理LLM智能体在规范、验证与执行方面的安全研究。作者按PRISMA 2020检索六个数据库,纳入2022至2026年的38项研究,并用GRADE评估证据确定性。综述指出:自然语言转PDDL的语义正确率仅24.8%–34.2%;运行时监控最成熟,在一项家庭智能体研究中将不安全动作减少65.37%,但只覆盖单步或短时程;九项主要结论中有七项证据确定性为最低级。

要点速读

  1. 规范是瓶颈:某基准上自然语言转PDDL仅24.8%–34.2%语义正确。
  2. 运行时监控最成熟,一项家庭智能体研究减少65.37%不安全动作,但仅覆盖单步或短时程。
  3. 一项τ-Bench研究中,拦截94%不安全动作后,多数设置下安全且正确完成的任务仍不足5%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开