自一致性反噬：多数投票拖累小模型硬科学题

多数投票自一致性会拖累小模型多数硬科学题，置信度门控也难奏效。

资讯摘要

论文指出，多数投票式自一致性（SC）会降低小型指令微调模型在多数 GPQA Diamond 题目上的单题准确率：Qwen2.5-7B 有 56.6% 的题目变差，Llama-3-8B 为 65.7%。作者尝试用无需验证器的置信度门控决定是否投票，但发现基于 token 熵的门控因测量方式失效——链上平均熵主要反映流畅度；改在答案 token 处测置信度后，与多数答案不一致的样本仍以较高 margin 输出答案。作者还报告，汇总层面 margin 能区分对错样本，但同一题目内配对比较时不能。

要点速读

1. 多数投票自一致性使 Qwen2.5-7B 在 56.6%、Llama-3-8B 在 65.7% 的 GPQA Diamond 题目上单题准确率下降。
2. token 熵门控失效：602 个 token 的链平均熵距非答案均值仅 0.0005 nats，距答案 token 为 0.1695 nats。
3. 在 Qwen2.5-7B-Instruct-Turbo 上，与多数答案不一致的样本仍以中位至少 20.4 nats 的 margin 输出答案；汇总层面 margin 可区分对错，题目内配对则不能。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。