LLM函数调用的不确定性量化评估

函数调用场景下多样本UQ方法未显优势，AST聚类与token限制可改进效果

资讯摘要

论文针对LLM函数调用场景，首次评估不确定性量化（UQ）方法。作者报告，在函数调用设置下，基于熵的多样本UQ方法（如Semantic Entropy）相比简单单样本方法并无明显优势；利用函数调用输出的特性可改进现有方法：多样本方法按抽象语法树解析结果聚类更有效，单样本方法将基于logit的分数限制在语义有意义的token上，判别力基本不变但校准改善，弃权下的效用也有小幅提升。

要点速读

1. 论文称这是首个针对LLM函数调用的不确定性量化方法评估
2. 在函数调用场景中，所评估的基于熵的多样本UQ方法未明显优于简单单样本方法
3. 按抽象语法树解析结果聚类可提升多样本UQ方法；单样本方法限制logit分数到语义token可改善校准

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。