SANE自动生成评分器专属测试，检出缺陷多于JRH。
资讯摘要
论文提出SANE，一个基于智能体的框架，将随机评估器的行为要求编码为可复用的智能体指令。给定评分器规格、实现和代表性输入后，SANE先识别评分器专属能力，再自动推导扰动配方及预期分数关系，并提供与评分器无关的验证框架。作者报告在五个领域，SANE产出的已验证测试族数量为JRH的3.7倍，且各领域均能检出评分器缺陷。
要点速读
- SANE把评分器行为要求写成可复用智能体指令，自动生成评分器专属扰动配方与预期分数关系。
- 作者报告在五个领域，SANE的已验证测试族数量是Judge Reliability Harness（JRH）的3.7倍，端到端有效性相当。
- 在faithfulness上，SANE测试套件对11个评审模型的排序与FaithBench人工标注一致（Spearman rho=0.852），JRH为0.100。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。