论文诊断大模型显式与应用心智理论差距

汇总心智理论分数会高估应用能力并掩盖可恢复的失败。

资讯摘要

论文指出，现有心智理论基准的汇总分数混淆了显式心智理论（识别他人信念）与应用心智理论（用信念预测行为）两种能力。作者用四个结构不同的基准测试发现，汇总报告掩盖了能力不均：在 SimpleToM 上，Llama-3.1-8B 总体得分 51.5%，识别心理状态达 99.4%，但预测行为仅 28.9%。论文比较结构化提示、匹配的上下文学习与提出的 Belief-State Test-Time Training（BSTTT），发现恢复效果取决于模型、任务和干预方式；提醒加 BSTTT 使 Llama 行为预测提升 40.8 个百分点，其中提醒贡献大部分，BSTTT 额外增加 1.3 至 5.5 点。时间信念追踪仍较困难。作者建议分别报告显式与应用准确率，并比较干预以判断哪些失败可恢复。

要点速读

1. 论文区分显式心智理论与应用心智理论，指出汇总分数掩盖能力不均：SimpleToM 上 Llama-3.1-8B 总体 51.5%，识别心理状态 99.4%，预测行为仅 28.9%。
2. 论文提出 BSTTT，并与结构化提示、匹配上下文学习比较；提醒加 BSTTT 使 Llama 行为预测提升 40.8 个百分点，BSTTT 在提醒之外额外贡献 1.3 至 5.5 点。
3. 作者报告上下文示例常优于权重更新，时间信念追踪仍难，建议分解报告显式与应用准确率并比较干预。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。