六款前沿模型在作者年龄匹配上高置信度出错，且自我解释难以纠正。
资讯摘要
论文以三名学生手写回答同一考题为材料，要求六款前沿模型将答案匹配到年龄与性别标签。作者报告共进行1081次API会话、评分3225条回答，六款模型中有三款准确率接近随机水平（1/3），却报告73%至88%的平均置信度；最年轻作者的回答最高有90%被误判为成年人。论文还发现，开放式估计会进一步降低准确率，机构化框架会拉低表现最佳模型的准确率，而单一受众意识指令对部分模型有效。
要点速读
- 论文测试Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o（2024）和DeepSeek V4，共1081次API会话、3225条回答。
- 三款模型匹配准确率接近1/3随机水平，平均置信度却达73%至88%；最年轻作者的回答最高90%被误判为成年人。
- 作者报告：五款模型的自述置信度与正确率不相关或负相关；揭示真值后，一款模型在114条解释中有68条承认自身刻板印象，但盲测准确率最低、置信度最高。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。