BlackSwan：以反驳式验证防止语言模型代理误操作

论文用反驳式验证在动作执行前拦截代理误操作。

资讯摘要

论文提出 BlackSwan，一种面向语言模型代理的反驳式动作验证流程：对每个会改变状态的动作先预测预期效果，再构造可检验的“可能出错”假设，用已有观察或额外非变更动作进行测试，若无假设成立才执行。作者报告在 AppWorld 上较最强基线分别提升 14.9 和 25.2 个百分点（有/无思考模式），WebShop 提升 12.7 个百分点。

要点速读

1. 论文指出确认式验证存在盲区：错误动作常能通过“它是否正确”的检查，因此改为寻找反驳证据。
2. BlackSwan 采用 expect-suspect-test 流程，仅在所有错误假设均未通过测试时执行动作。
3. 作者报告 AppWorld 成功率较最强基线提升 14.9/25.2 个百分点，WebShop 提升 12.7 个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。