低偏见回答可能部分源于模型更多弃答。
资讯摘要
论文在 BBQ 基准上考察 Qwen3、Gemma-3 和 SmolLM2 多种规模及量化配置下的问答表现,并检验更换提示词表述、以及在强制选择设置中移除“Unknown”选项后趋势是否稳定。作者报告:更大模型问答准确率更高,但偏见没有简单的规模趋势,量化影响因配置而异;26 个偏见回答更少的配置中有 20 个同时出现过度弃答增加,说明观察到的低偏见部分来自更多弃答。
要点速读
- 研究覆盖 Qwen3、Gemma-3、SmolLM2 的多种模型规模与量化设置,使用 BBQ 基准评估问答中的社会偏见与弃答。
- 作者报告更大模型问答准确率更高,但偏见未呈现简单规模趋势,量化效果因配置而异。
- 26 个偏见回答更少的配置中有 20 个同时出现过度弃答增加;论文建议公平性评估联合考虑偏见回答、弃答、提示词表述与答案选项设计。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。