论文发布千对政策指令标注基准，前沿模型零样本表现远低于人类。
资讯摘要
论文提出双轴政策蕴含（DAPE）基准，对一对政策指令同时做两项判断：是否属同一政策域，以及后一指令是延续、扩大、收窄还是逆转前一政策，两项判断合成五类标签。作者构建了1000对经专家标注的中国政府政策指令对，并给出标注校准协议。作者报告14个开放权重模型和4个前沿API旗舰模型零样本均未通过，最佳前沿模型与专家标签的Cohen's κ约0.29，低于人类上限0.53；经LoRA微调的Qwen3-14B达到κ=0.524。论文还将方法用于1980至2024年中国AI政策变化方向分析。
要点速读
- DAPE对政策指令对做同域判断与五类变化判断，合成五类主指标。
- 基准含1000对专家标注的中国政府政策指令对，并附标注校准协议。
- 作者报告零样本下最佳前沿模型κ约0.29，微调Qwen3-14B达κ=0.524，接近人类上限0.527。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。