回到最新动态
研究论文 / THE SIGNAL

Beta混合模型实现低预算AI评估

Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation

重要性 4.5 AI 辅助整理

Beta混合模型可从少量试验外推多种评估指标。

资讯摘要

论文提出用Beta分布混合模型拟合实例级成功概率,通过边际极大似然估计并以BIC选择分量数,从而在单次拟合后闭式计算出任意horizon的Pass^k与AUC@k,并给出无需额外模型调用的delta法置信区间。作者报告在竞赛数学与研究生科学基准上,外推超出观测试验数时该估计比朴素估计更准确,区间覆盖全数据参考;将配置视为实例还可用于敏感性分析。

要点速读

  1. 论文用Beta混合模型拟合实例级成功概率,分量数由BIC选择,一次拟合即可闭式得到任意horizon的Pass^k和AUC@k。
  2. 作者报告在竞赛数学与研究生科学基准上,外推超出观测试验数时混合先验估计比朴素估计更准确,置信区间覆盖全数据参考。
  3. 将配置而非任务视为实例可扩展到敏感性分析;当试验数达到目标horizon时,直接估计仍更可取。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开