跨语言决策模型排名随套件变化，英语调出的置信度阈值难以迁移。
资讯摘要
论文提出 XDecideBench，一个覆盖 122 种语言、包含 88,425 条文本和 153,875 个类型化问题的九套件基准，用于评测类型化决策模型与置信度阈值策略。作者报告模型排名随套件变化，在英语上事后选出的最佳模型在约四分之一套件-语言组合中显著落后；三个经微调的开放模型在全部十二种开发语言上优于其基座 Qwen 模型。
要点速读
- 基准含九个套件、122 种语言、88,425 条文本与 153,875 个类型化问题，各套件共用同一评分契约。
- 作者报告在英语上事后选出的最佳模型，在约四分之一套件-语言组合中显著落后，在缅甸语 Belebele 上远逊于最佳模型。
- 三个为类型化决策微调的开放模型在全部十二种开发语言上超过其基座 Qwen 模型；在英语数据上设定允许 5% 错误的置信度阈值，在 XNLI 上即使德语和法语也超出该错误率。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。