LLM群体决策的记忆筛选启发式在隐藏剖面任务上系统性失效。
资讯摘要
论文提出诊断基准 CrossProfile,用60个模板、480个任务交叉控制支持性、诱饵与无关事实的归属,考察LLM群体讨论压缩为简短记忆后如何影响最终决策。作者报告,按稀有性或相关性筛选记忆的两种启发式在 Qwen2.5-7B、Llama-3.1-8B 和两个 DeepSeek 模型上均出现可预测的失败:相关性筛选会重新引入诱饵,稀有优先平均不优于随机;决策模型还会给归属多智能体的事实额外权重,去掉归属标签可使经典配置准确率提升13至24点。
要点速读
- 论文提出 CrossProfile 基准,含60个模板、480个任务,答案键自动验证,交叉控制事实归属而固定文本。
- 作者报告相关性筛选会纳入诱饵,即使完美相关性过滤在经典隐藏剖面配置下也比稀有优先低23至31点。
- 决策模型对归属多个智能体的事实给予额外权重,移除或随机重排归属标签可提升准确率13至24点。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。