DeoGen：面向政策推理的自动基准生成器

DeoGen 自动生成政策推理基准，模型在信息不足时弃权表现差。

资讯摘要

论文提出 DeoGen，一种可扩展、可参数化的道义推理基准自动生成器。该方法将政策规则自动形式化为一阶逻辑，构建决策树，每条路径生成一个基准条目，条目数量随树深组合式增长；叶节点路径对应裁决，非叶路径考察模型在信息不足时能否弃权。作者报告前沿模型裁决正确率为 89–92%，但在信息不足条目上即使明确要求弃权，正确率仍降至 22–40%。

要点速读

1. DeoGen 通过自动形式化政策规则为一阶逻辑来构建决策树，每条路径生成一个基准条目。
2. 叶节点路径对应给出裁决，非叶路径用于衡量模型在信息不足时弃权的能力。
3. 作者报告前沿模型裁决正确率为 89–92%，信息不足条目上正确率降至 22–40%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。