Multicultural Spyfall：用多语言社交推理游戏评估LLM

论文用Spyfall游戏评测多语言模型，发现非英语语境表现明显更弱。

资讯摘要

论文提出以社交推理游戏Spyfall构建动态多语言、多文化评测框架，让模型通过策略对话识别秘密特工或避免暴露，并使用具有文化相关性的地点与本地食物。作者报告游戏排名与Chatbot Arena在重叠模型上一致，但非英语语境存在明显差距：模型处理本地特有实体时能力较弱，在非英语下的规则遵循与策略一致性也常出问题。作者称该方法可扩展、抗数据泄漏且具文化细腻度，并公开游戏记录数据集与代码。

要点速读

1. 论文用Spyfall社交推理游戏构建动态多语言评测，模型需通过策略对话找出秘密特工或避免被识破。
2. 作者报告游戏排名与Chatbot Arena在重叠模型上一致，但非英语语境下模型处理本地特有实体、遵循规则与保持策略一致性明显更弱。
3. 作者称该游戏化方法可扩展、抗数据泄漏且具文化细腻度，并公开游戏历史数据集与源代码。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。