论文用丹麦语困境数据集和两项指标测量自然对话中的社会规范对齐。
资讯摘要
论文提出在自然、自由形式的对话情境中，通过“解法匹配”衡量社会规范对齐，可比较任意两个困境回答之间的一致性，例如大模型与人类、大模型之间或人与人之间。作者引入“陈述一致准确率”和“显式一致准确率”两项指标，并构建了含3000个非平凡社会困境的丹麦语数据集，参考解法由三名评审给出。作者报告，在类似真实用户对话的交互设置下，所提指标给出的模型排序一致，且不同困境类型的一致率存在差异，邻里冲突、合住等话题的一致率更高。
要点速读
- 论文提出基于解法匹配的社会规范对齐框架，适用于自然、自由形式的回答比较。
- 作者构建了3000个丹麦语社会困境数据集，参考解法来自三名评审。
- 作者报告两项指标产生一致的模型排序，且邻里冲突、合住类话题一致率更高。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。