新基准用300组任务对评估智能体在缺失关键事实时的安全执行与证据恢复。
资讯摘要
论文提出 EpiSEM-Bench，一个可执行基准，用于评估工具调用型 LLM 智能体在关键安全事实被省略时的不安全执行、安全边界与证据恢复能力。基准含六个领域共 300 组匹配的不安全/安全任务对，通过系统性抑制关键事实测量不安全执行，并给出最小失败基数；独立审计工具检验智能体是否主动查找缺失事实、在完成允许任务的同时拒绝禁止操作。作者报告十个模型在省略鲁棒性、证据获取与恰当行动上差异明显，抵抗缺失证据不等于有效恢复，恢复访问可降低全部十个模型的不安全执行。
要点速读
- 基准包含六个领域、300 组匹配的不安全/安全任务对，通过抑制关键事实测量不安全执行与最小失败基数。
- 独立审计工具检验智能体是否查找缺失事实，并在完成允许任务时拒绝禁止操作。
- 作者报告十个模型在省略鲁棒性、证据获取和恰当行动上差异显著；恢复访问降低全部模型的不安全执行，但主动获取并利用缺失事实的能力不一。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。