回到最新动态
论文更新 / THE SIGNAL

论文评估并改进智能体任务中的LLM警惕性

Under the Influence: Evaluating and Improving LLM Vigilance in Agentic Tasks

重要性 5.5 AI 辅助整理

前沿LLM智能体普遍易受恶意建议影响,论文提出贝叶斯警惕机制。

资讯摘要

一篇论文考察LLM智能体在开放环境中的“警惕性”,即辨别并拒绝恶意建议的能力。作者在危险网站导航、电商诈骗规避、修补不安全代码仓库三项任务中发现,前沿模型均易受恶意影响,且模型任务表现与警惕性并不同步。为此论文提出vigilance harness,用贝叶斯推理评估建议价值以决定是否采纳,作者报告其可恢复基线表现并保留正面建议的收益。

要点速读

  1. 论文在危险网站导航、电商诈骗规避、修补不安全代码仓库三项任务中评估LLM智能体的警惕性。
  2. 作者发现所有前沿模型在各类环境中都高度易受恶意影响,且模型表现与警惕性可分离。
  3. 论文提出基于贝叶斯推理的vigilance harness,判断是否采纳建议者的意见。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开