新方法无需逐假设重采样即可认证语言模型提出的假设。
资讯摘要
论文提出 NxN e-valuation 方法，用于认证语言模型生成的假设。该方法要求认证步骤对每个假设可自动化、可归因且具诊断性，以同一范围内的单元互为对照，无需为每个假设单独编写重采样模型。作者报告在植入数据、随机干预数据和285个由语言模型撰写、经专家标注的真实购买数据假设上测试，693次决策中692次正确、1次错误认证。
要点速读
- 论文提出 NxN e-valuation，要求认证步骤对每个假设可自动化、可归因、具诊断性。
- 同一范围的单元互为对照，避免为每个假设单独编写重采样模型。
- 在285个语言模型撰写、专家标注的真实购买数据假设上，693次决策中692次正确、1次错误认证；作者称优于需逐假设重采样模型的CRT组合测试和留出验证。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。