暴露不等于承诺：工具型智能体潜在监控的双层分层评估

未分层的 AUROC 会高估潜在监控器实际掌握的信息。

资讯摘要

论文指出，工具型语言智能体易受间接提示注入影响，而现有针对模型内部信号的监控研究结论相互矛盾。作者认为这多源于评估方式，提出双层分层协议，将注入暴露与行为承诺在评估和训练人群中分开。在 Qwen AgentDojo 网格上，按朴素混合对比训练的监控器主要学到暴露特征；仅在暴露样本上重训后，同类探针可提前至多两步预测模型自身的不安全工具调用（logistic AUROC 0.853），Mistral-7B 与 OLMo-2-7B 分别达 0.896 和 0.912。

要点速读

1. 论文提出双层分层评估协议，把注入暴露与行为承诺分开，并同时用于评估与训练人群。
2. 在 Qwen AgentDojo 上，朴素混合对比训练的监控器主要识别暴露轨迹，难以预测是否真正转为不安全行为。
3. 仅在暴露样本上重训后，探针可提前至多两步预测不安全工具调用，logistic AUROC 0.853，与训练过的 TF-IDF 文本基线 0.855 相当。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。