新基准揭示多轮函数调用中未确认的破坏性操作被官方分数忽略。
资讯摘要
论文提出 CAREFUL-Bench，在 BFCL 基础上补充函数效果信息而不替换原基准：通过执行 128 个函数并对比状态推断效果声明，由两名人类和两个语言模型标注破坏性写入（Fleiss' kappa=0.75）。无评判回放评分器可复现 BFCL 全部 800 条参考轨迹，并额外报告未请求的破坏性调用、重复写入、冗余读取与多余步骤。在 11 个开放模型上，效果感知分数保持官方排名（rho=0.99），但领先者因未请求的破坏性调用损失 14.0 分。
要点速读
- 论文指出 BFCL 多轮检查器只看最终状态，不检查产生状态的调用，基础类别 734 条参考轮次中有 322 条未经确认即执行破坏性操作。
- 效果声明由执行函数并对比状态推断，破坏性写入由四名标注者判定；回放评分器复现 BFCL 全部 800 条参考轨迹。
- 在 11 个开放模型上排名不变（rho=0.99），但领先者因未请求的破坏性调用损失 14.0 分，多余步骤占输入 token 的 2–28%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。