高总体准确率下，LLM仇恨言论分类器对女性存在更高漏判率。
资讯摘要
论文提出用421个仇恨言论模板对七个受保护群体做身份替换测试，检验LLM分类器是否对同一表述保持一致判断。四个分类器平衡准确率均超0.95，但其中两个对涉及女性的仇恨表述漏判率明显更高，超额假阴性率分别为8.3和4.4个百分点。作者分析模型给出的理由发现，同一表述针对其他群体时被归因于受保护群体身份，针对女性时则被改述为个人厌恶或针对个体。
要点速读
- 测试使用421个模板，仅改变身份词，覆盖七个受保护群体。
- 四个LLM分类器平衡准确率均超过0.95，但两个模型对女性相关仇恨表述的超额假阴性率分别为8.3和4.4个百分点。
- 在某一模型漏判的30个模板中，有22个将针对女性的相同表述改述为个人厌恶或针对个体；加入基准自身定义未能缩小差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。