回到最新动态
研究论文 / THE SIGNAL

CulturalRiddles:多文化谜语基准

CulturalRiddles: A Multicultural Benchmark of Riddles

重要性 5.5 AI 辅助整理

人类原创多文化谜语基准覆盖62种文化,前沿模型部分社区准确率最高22%。

资讯摘要

论文提出 CulturalRiddles,一个由人类通过社区参与方式原创、扎根文化的谜语基准,覆盖 62 种文化(45 个国家、51 种语言)。这些谜语需要溯因与组合推理,并依赖事实与社会知识、语言能力及文化特定联想。作者用自动评估和大规模人工评估测试了 28 种 LLM 配置,报告部分社区中前沿模型准确率最高仅 22%,并公开全部材料与开放贡献流程。

要点速读

  1. 基准覆盖 62 种文化、45 个国家、51 种语言,谜语全部由人类原创。
  2. 作者评估 28 种 LLM 配置,报告部分社区中前沿模型准确率最高为 22%。
  3. 论文公开全部材料,并设开放贡献流程以扩展语言与文化覆盖。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开