审计需默认交换选项并反转问题，顺序不变性应成采购要求。
资讯摘要
论文提出一套审计协议，用于评估以类型化、概率打分作答的System One决策模型的人口统计偏见。作者在BBQ、CrowS-Pairs和SilverSpoon三个基准上改造接口，测试十二个模型并做无思考消融，共1,638,000次决策；对顺序敏感题目交换选项重复运行。作者报告普遍存在刻板印象对齐、答案依赖选项顺序，且置信度反映的是不稳定性而非偏见。
要点速读
- 论文在BBQ全部十一类、CrowS-Pairs和SilverSpoon上审计十二个模型，共1,638,000次决策，并设无思考消融。
- BBQ中143个模型×类别分数有97个显著、94个与刻板印象对齐；商业参考模型在99.5%的模糊题上弃答。
- 选项交换使0.0%至72.6%的选择翻转；CrowS-Pairs偏好跨度0.496至0.816，SilverSpoon中八个决策模型有五个偏向低社会经济地位标签。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。