论文发布近2000次实验的事后校准基准CalArena
资讯摘要
论文提出 CalArena，一个面向事后概率校准的大规模标准化基准，覆盖表格与计算机视觉任务，包含二分类、多分类和大规模分类场景，共近 2000 次实验。作者汇总经典模型、现代深度学习架构与基础模型的预测，并在统一框架内提供数十种校准方法的可复现实现。论文主张用 proper scoring rules 上的 Post-Hoc Improvement（PHI）替代传统校准误差估计来比较方法，并据此报告：平滑校准函数优于分箱方法，高维场景需要专门的多分类方法，通用机器学习模型缺乏校准设计时竞争力不足。
要点速读
- 基准覆盖表格与视觉任务、二分类/多分类/大规模分类，合计近 2000 次实验。
- 作者提出以 Post-Hoc Improvement（PHI）作为比较事后校准方法的原则性指标。
- 论文报告平滑校准函数优于分箱方法，高维场景需专门多分类方法；数据、代码与评估工具已发布。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。