BestRand用更低成本压缩基准评测的高误差尾部
资讯摘要
论文分析基准压缩的估计误差分布，指出随机采样多数子集误差小但少数误差很大，呈长尾分布，这种不稳定性在现代基础模型中固有存在。作者提出BestRand，在保留随机采样效率的同时压缩高误差尾部。作者报告在70多个文本、多模态与智能体基准及VLA评测上，高误差风险降低50.2%、估计误差降低16.4%，构建成本仅为对比方法的51.3%，OOD估计误差平均降低21.8%。代码与数据已公开。
要点速读
- 论文推导子集估计全基准分数的误差分布，发现误差呈长尾，随机采样高概率表现好但不稳定
- BestRand在70多个文本、多模态、智能体基准及VLA评测上验证
- 作者报告高误差风险降50.2%、估计误差降16.4%，构建成本为对比方法的51.3%
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。