弃权选项会扭曲蒸馏小模型的偏差分数，需锚定参考模型报告。
资讯摘要
论文分析蒸馏小语言模型在含弃权选项的基准上测偏差分数时，弃权选项会引入三种机制：拒答损失、采样波动和选项捕获。作者报告，参考模型仅换推理种子重采样，就有10%至27%的拒答变成刻板印象回答；用拒答样例训练的学生模型在弃权永非正确答案的科学题上，最高95%会选弃权，且该习惯延续到另外三个基准。论文据此提出按条件报告、锚定参考模型并给出上下限的评估方式。
要点速读
- 论文区分拒答损失、采样波动与选项捕获三种机制，指出聚合分数只反映明显损失，逐项分数才能看到波动与重映射。
- 参考模型跨推理种子重采样时，10%至27%的拒答转为刻板印象答案，未报告该基线的逐项拒答指标会高估损害。
- 用拒答样例训练的学生模型在弃权永非正确答案的科学题上最高95%选择弃权，并延续到另外三个基准；自由形式评估显示多选题丢失的拒答并非刻板印象发生处。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。