同一批预测换评分规则，模型排名会大幅改变。
资讯摘要
论文提出IndiaFinBench，一个含406道专家标注题目的印度金融监管文本基准，覆盖SEBI与RBI文本的监管解读、数值推理、矛盾检测和时间推理。作者对十二个LLM做零样本评测，比较严格四阶段字符串匹配与跨模型评审两种评分方式，发现两者排名无正相关（Spearman rho=-0.273，不显著），且没有模型在三种评分规则下保持同一名次。
要点速读
- 严格匹配准确率为75.12%–89.66%，仅评审准确率为87.19%–94.83%，榜首与末位均不同。
- 复合评分将分数压缩至94.1%–98.0%，DeepSeek-R1-Distill-Llama-70B并列第一，而它在严格评分下垫底，评审将其93.9%的严格错误改判为正确。
- 406题中有148题（36.5%）被十二个模型给出相同答案，无法区分任何模型对；一名非专家评测者在60题子集上得80.0%，校正后与各模型无显著差异。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。