DMAIC-Bench：评估智能体在多阶段分析任务中的自我约束能力

新基准显示智能体在应停止时仍常继续执行下游分析

资讯摘要

论文提出 DMAIC-Bench，用于评估 LLM 智能体在多阶段分析任务中依据中间证据决定继续、转向或停止的“自我约束”能力。基准含 97 个种子任务、覆盖 15 个工业案例，并设置配对反事实变体以区分合理停止与盲目停止。作者报告：13 个模型在 GO 决策上的路由准确率平均 92%，NO-GO 仅 19%；专家盲审估计 11 个受审智能体在已达 NO-GO 的决策中有 47% 仍依据无效证据行动。

要点速读

1. 基准基于精益六西格玛的统计前提构建 97 个任务，覆盖四个行业的 15 个工业案例，并用配对反事实变体要求同一流程位置做出相反动作。
2. 作者报告 13 个来自六家提供商的模型在匹配 GO 决策上平均路由准确率 92%，NO-GO 决策仅 19%，任何被禁止的下游计算均计为路由错误。
3. 对 11 个智能体的盲审专家估计，在已达 NO-GO 的决策中有 47%（区间 31%–61%）仍依据无效证据行动；明确给予停止许可仅对部分模型有帮助。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。