小模型与前沿模型的终端任务差距是多维的,验证环节最难补。
资讯摘要
论文针对小语言模型(SLM)在终端任务上落后前沿模型(FM)的问题,将差距拆为可解性、验证与置信度三个维度,并在两个标准终端基准上评估。作者报告:重复采样可缩小但无法消除可解性差距;验证差距持续存在,相同候选轨迹池下FM比SLM更能接近oracle选择;SLM对成功概率更过度自信、校准更差。
要点速读
- 论文从可解性、验证、置信度三方面刻画SLM与FM的差距
- 重复采样缩小但不消除可解性差距,验证差距持续存在
- 相同候选轨迹池下FM比SLM恢复更多随机选择与oracle选择之间的差距,SLM过度自信且校准更差
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。