BP-TD用去相关权重让同源智能体约算一票,无标签时胜过多数投票。
资讯摘要
论文研究多个LLM智能体对同一问题给出冲突答案时的无监督真值发现问题,指出许多已部署智能体是同一基座模型的变体,错误相互关联。作者提出BP-TD,在one-coin Dawid-Skene模型的平均场变分推断中加入按智能体去相关权重,使共享基座模型的智能体合计约算一票。在MMLU上13个本地智能体的实验中,BP-TD无需标签即优于多数投票,并能按真实准确率排序智能体。
要点速读
- BP-TD在MMLU的160题上准确率0.716,多数投票为0.624;在10,000题上为0.707对0.674,均未使用标签。
- 在2,852个子池上,去相关在最大相关阵营弱于其他智能体时有益、在其最强时有害,且未找到无标签统计量可区分两种情况。
- 仅用20道带标签问题挑选单个最佳智能体,在MMLU、ARC和TruthfulQA上比测试的所有聚合器更准确。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。