模型测量值何时可校正或比较

模型测量值受种子和提示影响，需先检验信度再校正比较

资讯摘要

论文讨论从训练模型算出的测量值（如样本难度、基准领先幅度）会随随机种子和提示变化，何时可校正或比较。作者指出教科书式校正除以两个估计信度的平方根，在 CIFAR-100 两个难度分数上于 70/100 个类别给出大于 1 的相关系数，并证明其均方误差无穷大。论文提出仅在两个信度均通过显著性检验时校正，并除以置信上界，输出有界，覆盖保证假设高斯噪声；模拟 500 单元时误差减半以上。提示设置可反转排名：ARC 上 Qwen2-1.5B 无示例落后 Llama-3.2-3B 3.8 分，两示例时领先 16.6 分；四个基准上对两种设置取平均，16 次反转中 15 次给出唯一胜者。跨种子对齐嵌入坐标使留出集逐维信度从 0.003 升至 0.813。

要点速读

1. 教科书式信度校正可能给出大于 1 的相关系数，且均方误差无穷大
2. 论文提出仅在两个信度均通过显著性检验时校正，并除以置信上界
3. ARC 上提示示例数可反转 Qwen2-1.5B 与 Llama-3.2-3B 的排名

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。