论文用324场景基准测试LLM对合作方的校准信任
资讯摘要
论文提出一个包含324个场景、覆盖23类协作任务的基准，考察大语言模型能否根据合作方表现证据，理性决定依赖、验证或协助。作者用三个连续决策及成本与反馈机制做解析评估，测试七个模型和36个受控历史探针，发现除最强前沿模型接近最优外，其他模型常过度购买保障、做零信息价值的验证、忽视协作学习，或把协助投向次优渠道。
要点速读
- 论文构建324个场景、23类协作的基准，每个场景含三次连续决策与明确成本、反馈机制。
- 作者评估七个模型及36个受控历史探针，将证据敏感性与规范上合适的行动区分开。
- 作者报告：最强前沿模型接近最优，其他模型出现过度保障、零信息价值验证等反复问题；提供显式后验分布可修正部分错误但引入新失败模式。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。