回到最新动态
研究论文 / THE SIGNAL

工具输出格式化失真会误导智能体与验证器

Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers

重要性 5.5 AI 辅助整理

工具输出格式化失真会误导智能体与验证器,补全细节可显著减少错误。

资讯摘要

论文指出,智能体与验证器常依赖工具打印的文本,而格式化器可能遗漏搜索限制、结果上限或标识符命名空间,使工具计算正确却传递失真信息。作者在 Pilsudski Institute 的生产级 RAG 系统中观察到该问题,并用两种格式化版本对比:补全缺失细节后,四类失败中有三类的不受支持声明大幅减少;一项测试中验证器从 90/90 接受错误答案变为 90/90 拒绝。作者还公开审计提示词,在 OpenClaw 与 Hermes 中发现同类问题并提交修复 PR。

要点速读

  1. 工具输出格式化器遗漏搜索限制、结果上限或标识符命名空间,会让智能体向用户给出错误或不完整信息,即使工具本身计算正确。
  2. 对比实验显示,补全缺失细节后四类失败中有三类的不受支持声明大幅减少;一项测试中验证器由 90/90 接受错误答案转为 90/90 拒绝。
  3. 作者用审计提示词在旧版自有系统中发现仍存缺陷并新增 12 项未记录问题,在 OpenClaw 和 Hermes 中均发现失真格式化器,OpenClaw 的修复 PR 已合并。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开