新数据集显示 50 个大模型对印尼潘查希拉价值观对齐普遍不足。
资讯摘要
论文提出 Pancasila-Dilemmas 数据集，包含 1,834 道源自印尼新闻的问题，按潘查希拉五项价值（宗教、人道、团结、民主、社会正义）分类，并选取含价值困境的场景，由母语者校对、5 位印尼民众作答。作者报告在 50 个闭源与开源大模型上评测，所有模型概率匹配分低于 0.5、最大投票一致分低于 0.72，宗教与团结类困境表现最弱。
要点速读
- 数据集含 1,834 道题，源自印尼新闻，按潘查希拉五项价值分类，并经母语者校对。
- 作者评测 50 个闭源与开源大模型，报告所有模型 PMS 低于 0.5、MVAS 低于 0.72。
- 模型在宗教与团结两类困境上表现最差，作者认为这反映对印尼价值观的捕捉存在明显差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。