RubriX 以非生成式编码器架构做评分标准评判,作者报告准确率与延迟均优于对比方法。
资讯摘要
论文提出 RubriX,一种基于评分标准(rubric)的评判器,架构借鉴对比语言模型:用 LoRA 适配的编码器分别嵌入输入与各等级描述,再对缩放余弦相似度做 softmax,直接给出各等级概率,无需生成文本。作者报告其在留出评分标准上精确准确率为 75.4%,高于 TypeSafe 的 Jev(57.1%)和 Qwen3-8B 评判器(49.8%);在八个有人工标注的基准集上多数与 Jev 相差 6 个百分点以内。缓存等级嵌入后,单次评判延迟约 28 毫秒,且随等级描述从 10 增至 3000 token 基本不变。
要点速读
- RubriX 用 LoRA 适配编码器加余弦相似度 softmax 输出各等级概率,不做文本生成。
- 作者报告留出评分标准精确准确率 75.4%,Jev 为 57.1%,Qwen3-8B 评判器为 49.8%。
- 缓存等级嵌入后延迟约 28 毫秒,等级描述达 3000 token 时作者称比 Jev 快 7.7 倍、比 Qwen3-8B 评判器快 18.8 倍。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。