LLM 评审用于实体对齐评估的可靠性研究

LLM 评审在实体对齐中易受可见标签干扰，无标签协议可显著恢复判别力。

资讯摘要

论文系统评估 LLM-as-judge 在实体对齐（EA）任务上的可靠性，覆盖三个前沿模型、三个数据集和四个 EA 系统，采用扰动偏差诊断、全组合元评估与反事实标签翻转测试。作者报告存在“锚点偏差”：当系统决策标签可见时，评审判别力大幅下降（J-ROC-AUC 0.12–0.87）；无标签协议下，独特名称数据集恢复至 0.98–1.00，生物医学实体对恢复至 0.93–0.95。反事实翻转显示可见标签在 53–99% 的实体对中使分数偏移超过 2 分，且模型能力越强越敏感，作者称之为“前沿模型悖论”。研究还发布首个生物医学 EA 基准（MeSH–SNOMED CT，1.5 万对）及可复现审计框架。

要点速读

1. 论文覆盖三个前沿模型、三个数据集、四个 EA 系统，并做扰动偏差诊断与反事实标签翻转测试。
2. 作者报告锚点偏差：标签可见时 J-ROC-AUC 降至 0.12–0.87，无标签协议下独特名称数据集达 0.98–1.00。
3. 反事实翻转中 53–99% 实体对分数偏移超 2 分，作者称更强模型更标签敏感，即“前沿模型悖论”。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。