Qistas：面向大语言模型公平性评估的预注册可移植协议

论文提出可移植的预注册公平性评估协议 Qistas，尚无模型被评估。

资讯摘要

论文提出 Qistas，一套用于评估大语言模型如何对待特定社会群体的公平性协议，可跨国家移植，首个实例面向伊拉克。试点仅测量无需判定争议真相的维度：匹配反事实对的过程对称性、差异化拒答、歧义下的刻板印象依赖、已记录事件的术语框架。所有测量按构造配对，采用符号翻转置换检验、精确 McNemar 检验、模板聚类自助区间与 Holm 校正，并预先给出功效分析。作者同时发布编写工具，并报告对 58 条种子库的语义审查：25 个模板组中 24 个至少未通过一项检查。论文强调这是协议论文而非结果论文，尚无模型被评估。

要点速读

1. 论文提出 Qistas 协议，可跨国家移植，首个实例面向伊拉克社会群体。
2. 试点测量过程对称性、差异化拒答、歧义下刻板印象依赖与术语框架，采用配对统计与预注册功效分析。
3. 作者报告 58 条种子库语义审查中 25 个模板组有 24 个至少未通过一项检查，并指出反事实公平基准的通用缺陷模式。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。