LLM智能体观点模拟中的互补一致性检验

三个小模型在互补改写下的概率报告不满足相加为1。

资讯摘要

论文检验LLM智能体观点模拟中概率报告的互补一致性：将命题改写为其否定形式并把概率p换成1-p后，两次报告应相加为1。作者用Qwen3-4B、Llama-3.2-3B和Gemma-3-4B在2304个智能体状态、AVeriTeC的48条事实核查主张及24个二结果受控基准上测试，发现配对报告之和偏离1，且偏差是同意改写所致变化的2至10倍。

要点速读

1. 在2304个智能体状态上，Qwen配对报告平均相加为1.18；在AVeriTeC的48条真实事实核查主张上同样超过1。
2. 24个各含两种可能结果的受控基准中，三个模型均出现同类不一致，且在重复采样、不同同伴组规模与报告强度下持续存在。
3. 从互补初始状态出发的两个群体经五轮后不再互为镜像；将答案与其配对答案的补值平均可按构造恢复一致性并降低两种措辞下的平均Brier损失，但末轮仅一个模型优于两种原始措辞中较好者。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。