回到最新动态
交叉发布 / THE SIGNAL

UMAS:面向多智能体LLM系统的系统级不确定性量化

UMAS: System-Level Uncertainty Quantification for Multi-Agent LLM Systems

重要性 5.0 AI 辅助整理

UMAS 用智能体间影响可信度做系统级不确定性量化,平均提升 10.54 AUROC 点。

资讯摘要

论文提出 UMAS,一个无参数、不增加推理成本的多智能体系统级不确定性量化框架。它依据每次生成的内在置信度估计智能体间影响的可靠性,用该信号调节各节点的不确定性更新,再聚合为系统级估计。作者报告在 Debate 与 DyLAN 上跨多个基准平均领先现有基线 10.54 个 AUROC 点,并可用于幻觉检测与不确定性感知的答案选择,部分任务准确率提升至多 12.6 点。

要点速读

  1. UMAS 为无参数、成本中性的系统级不确定性量化框架,利用智能体间影响的可信度调节节点不确定性更新。
  2. 作者报告在 Debate 和 DyLAN 上跨多个基准平均超过现有基线 10.54 个 AUROC 点。
  3. 该框架支持幻觉检测与不确定性感知答案选择,特定任务上 MAS 准确率最高提升 12.6 点;代码已公开。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开