论文给出置信度分层审计与LLM评判评估的统计条件与成本边界。
资讯摘要
论文针对LLM与MLLM评估，提出统一统计框架，涵盖直接人工审计与LLM辅助评判两条路线。直接审计采用置信度分层抽样，无需置信度校准即可从部分验证输出恢复总体准确率；评判辅助路线以敏感度和假阳性率建模，给出误差校正估计。在MMLU-Pro与MMMU-Pro上的实验显示，校准不佳的自置信度仍可支持有效的分层审计。
要点速读
- 直接审计使用置信度分层抽样，在无需校准置信度的情况下恢复总体准确率，并刻画有限样本不确定性。
- 评判辅助评估通过敏感度与假阳性率建模，得到带校准不确定性的误差校正估计，并以人工标注与总成本效率边界比较两条路线。
- MMLU-Pro与MMMU-Pro实验显示：置信度分布高度不均衡时，按比例分配比每层等量分配显著降低估计误差；仅少量目标—验证器对满足理想人工标注效率条件，自动推理成本会进一步限制节省空间。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。