论文显示模型能推断他人信念,未必能在任务中正确使用。
资讯摘要
论文提出一种基于可验证任务的多级评估方法,在家庭协作与日历排程任务中加入信息不对称,并分设世界理解、信息获取、信念、决策与执行等独立接口,以区分模型能否恢复他人信念与能否在后续任务中使用这些信念。作者报告,在匹配的排程案例中 Claude 能正确恢复全部智能体信念,但仅 67.9% 的案例给出主观最优计划;在家庭协作中,提供信念使 Qwen-27B 成功率从 55.0% 升至 75.0%,而 Qwen-4B 虽能答对所有给定信念来源问题,对应延续条件仅完成 20.0%。
要点速读
- 论文在家庭协作和日历排程任务中引入信息不对称,保留原有约束与验证器,构建多级评估。
- 作者报告 Claude 在匹配排程案例中全部正确恢复智能体信念,但仅 67.9% 产生主观最优计划。
- 作者报告提供信念使 Qwen-27B 成功率由 55.0% 升至 75.0%,Qwen-4B 答对信念来源问题但延续条件仅完成 20.0%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。