论文提出 SocialArena 基准，用人工竞技场评估 LLM 社会智能。
资讯摘要
论文提出 SocialArena 基准，用于系统定义和评估大语言模型的社会智能。作者构建三层框架，涵盖角色扮演、心理状态推理与行为推理，并设计带显式角色思考的角色扮演对话范式；同时提出 U-TRIMF 框架合成多样社会情境。评估采用人工标注的竞技场式协议，作者称投入 13.24 万美元招募并培训标注员，由标注员比较模型回答并给出偏好标签与自然语言评语。
要点速读
- 论文提出三层框架，从角色扮演、心理状态推理、行为推理三个维度定义社会智能。
- 设计带显式角色思考的角色扮演对话范式，并引入 U-TRIMF 框架合成覆盖广泛的社会情境。
- 采用人工标注的竞技场式协议，作者报告投入 13.24 万美元用于招募和培训标注员。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。