按主模型出错处表现选第二模型,可恢复八成最佳增益。
资讯摘要
论文研究跨度标注中把高风险输出转交第二模型复核时的伙伴选择问题,提出伙伴选择应是条件性的:最佳第二意见是在主模型出错处正确的模型。作者在八种标注器、三个随机种子和三个英文基准上评估576组主模型-伙伴配对,按主模型错误样本上的留出准确率选伙伴可恢复最佳伙伴增益的82%,而按跨度F1或随机选择仅69-70%。该规则在第四个数据集上复现。
要点速读
- 按主模型错误样本上的留出准确率选择伙伴,可恢复最佳伙伴增益的82%,跨度F1或随机选择为69-70%。
- 规则在第四个数据集上复现,Spearman相关系数0.40,跨度F1为0.04。
- 作者报告伙伴价值具有方向性,使用预测分布而非硬标签可提升94%的配对;对LoRA微调解码器,独立训练的伙伴优于主网络的各种读出方式。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。