回到最新动态
研究论文 / THE SIGNAL

BP-TD:面向相关LLM智能体的无监督真值发现

Where Is the Truth When AI Agents Disagree? Dependence-Aware Belief Propagation for Unsupervised Truth Discovery (Extended Version)

重要性 5.0 AI 辅助整理

BP-TD用去相关权重让同源智能体约算一票,无标签时胜过多数投票。

资讯摘要

论文研究多个LLM智能体对同一问题给出冲突答案时的无监督真值发现问题,指出许多已部署智能体是同一基座模型的变体,错误相互关联。作者提出BP-TD,在one-coin Dawid-Skene模型的平均场变分推断中加入按智能体去相关权重,使共享基座模型的智能体合计约算一票。在MMLU上13个本地智能体的实验中,BP-TD无需标签即优于多数投票,并能按真实准确率排序智能体。

要点速读

  1. BP-TD在MMLU的160题上准确率0.716,多数投票为0.624;在10,000题上为0.707对0.674,均未使用标签。
  2. 在2,852个子池上,去相关在最大相关阵营弱于其他智能体时有益、在其最强时有害,且未找到无标签统计量可区分两种情况。
  3. 仅用20道带标签问题挑选单个最佳智能体,在MMLU、ARC和TruthfulQA上比测试的所有聚合器更准确。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开