回到最新动态
研究论文 / THE SIGNAL

论文拆解小模型在终端任务上的短板

Blind Spots: Where Small Language Models Fall Behind Frontier Models on Terminal Tasks

重要性 5.5 AI 辅助整理

小模型与前沿模型的终端任务差距是多维的,验证环节最难补。

资讯摘要

论文针对小语言模型(SLM)在终端任务上落后前沿模型(FM)的问题,将差距拆为可解性、验证与置信度三个维度,并在两个标准终端基准上评估。作者报告:重复采样可缩小但无法消除可解性差距;验证差距持续存在,相同候选轨迹池下FM比SLM更能接近oracle选择;SLM对成功概率更过度自信、校准更差。

要点速读

  1. 论文从可解性、验证、置信度三方面刻画SLM与FM的差距
  2. 重复采样缩小但不消除可解性差距,验证差距持续存在
  3. 相同候选轨迹池下FM比SLM恢复更多随机选择与oracle选择之间的差距,SLM过度自信且校准更差

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开