论文发现LLM自我评估表达力与置信度校准存在系统性反向关系。
资讯摘要
一篇论文提出基于经典VC理论的理论与实证框架，用概率VC（PVC）和校准感知PVC（C-PVC）两个复杂度指标，衡量LLM区分自身正确与错误解并保持置信度校准的能力。作者在360道原创数学推理题、TruthfulQA和CommonsenseQA上测试了11个7-8B模型，让模型在自身两个解中选择并报告置信度，真值由更大模型集成确定。结果显示自我评估表达力越强的模型校准越弱，这一权衡跨架构、训练范式和领域持续存在。
要点速读
- 论文将经典VC理论扩展为PVC与C-PVC两个指标，并给出样本复杂度界与泛化保证。
- 测试覆盖11个7-8B模型、360道原创数学题及TruthfulQA、CommonsenseQA。
- s1.1-7B与Qwen2.5-7B-Instruct的PVC-VUS得分最高，JiuZhang3.0-7B校准最好（ECE最低、PVC-VUS差距最小）。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。