新基准显示Text-to-SQL模型在印度语言上准确率明显低于英语。
资讯摘要
论文提出IndicDBBench,一个面向印度语言的多语言Text-to-SQL基准,其数据库模式取自NDAP与IDP等真实开放数据平台,共20个数据库、237张表。作者用三智能体流水线(Architect、Auditor、Refiner)从去规范化政府数据构建关系结构,生成覆盖英语及六种印度语言、共15,612个任务。作者报告DeepSeek V3.2、MiniMax M2.7、Llama 3.3、Qwen3等模型从英语到印度语言执行准确率下降9.0个百分点,称为“Indic Gap”。
要点速读
- 基准含20个数据库、237张表,平均每库11.85张表,连接深度最高达六层
- 共15,612个任务,覆盖英语与六种印度语言,查询需多表推理
- 作者报告英语到印度语言执行准确率下降9.0个百分点,且提供金标表与字面值后差距仍存在
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。