System One 决策模型并非更好的重排器

论文称决策微调做重排不如直接重排微调。

资讯摘要

论文测试 System One 决策模型（以校准概率回答输入问题）是否比同一模型的普通重排微调更适合做重排器。作者在 0.6B 至 27B 的六个 Qwen 骨干和十个 TREC DL、BEIR 数据集上比较零样本、决策微调与重排微调，结论是决策微调从未带来更好的重排效果：0.6B 至 9B 上重排微调在 nDCG@10 上领先 5 至 29 分，27B 时两者持平。

要点速读

1. 实验覆盖 0.6B 到 27B 的六个 Qwen 骨干及十个 TREC DL、BEIR 数据集，其中两个重排微调由作者自行训练。
2. 0.6B 至 9B 上重排微调在每个骨干上均领先决策微调 5 至 29 分 nDCG@10，零样本数据集上亦然；27B 时两者持平。
3. 作者报告决策模型的校准优势取决于提问方式：问“段落是否回答查询”时从 4B 起校准优于已发表的重排微调，换一种问法则优势消失。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。