回到最新动态
论文更新 / THE SIGNAL

IndicDBBench:印度语言多语言Text-to-SQL基准

IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages

重要性 5.5 AI 辅助整理

新基准显示Text-to-SQL模型在印度语言上准确率明显低于英语。

资讯摘要

论文提出IndicDBBench,一个面向印度语言的多语言Text-to-SQL基准,其数据库模式取自NDAP与IDP等真实开放数据平台,共20个数据库、237张表。作者用三智能体流水线(Architect、Auditor、Refiner)从去规范化政府数据构建关系结构,生成覆盖英语及六种印度语言、共15,612个任务。作者报告DeepSeek V3.2、MiniMax M2.7、Llama 3.3、Qwen3等模型从英语到印度语言执行准确率下降9.0个百分点,称为“Indic Gap”。

要点速读

  1. 基准含20个数据库、237张表,平均每库11.85张表,连接深度最高达六层
  2. 共15,612个任务,覆盖英语与六种印度语言,查询需多表推理
  3. 作者报告英语到印度语言执行准确率下降9.0个百分点,且提供金标表与字面值后差距仍存在

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开