回到最新动态
交叉发布 / THE SIGNAL

流式分位数匹配用于LLM评审校准

Quantiles, Not Points: Streaming Quantile Matching for Ordinal-Aware LLM-as-a-Judge Calibration

重要性 4.5 AI 辅助整理

论文提出SQM校准方法,报告其分布保真度优于逐点校准

资讯摘要

论文提出流式分位数匹配(SQM)方法,用于LLM-as-a-judge评分的事后校准。作者认为LLM评审分数是从分布中抽取的有序评分而非孤立点,SQM通过计算LLM与人类评分分布间的最优传输映射实现校准。作者报告在自建评估框架中,SQM尊重人类锚点集的有序性,在分布保真度和跨模型跨数据总体排名上优于逐点校准方法。

要点速读

  1. 论文提出SQM,基于最优传输映射对齐LLM与人类评分分布
  2. 作者报告SQM在分布保真度和总体排名上优于逐点校准
  3. 论文指出事后校准通常能缩小小型与大型评审模型间的原始误差差距

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开