Re³Rank 用推理轨迹驱动检索头注意力做重排序。
资讯摘要
论文提出 Re³Rank 列表式重排序器,基于推理条件检索头(RRHeads):生成器先针对问题与候选写出推理轨迹,评分器再以轨迹 token 作为若干 RRHeads 的注意力查询,输出连续相关性分数。作者用直通估计器把排序损失传过离散轨迹,使生成器与评分器可联合训练。作者报告在 9 个基准上平均优于 11 个基线重排序器,4B 版本平均高出最强基线 3.11 NDCG@10,0.6B 版本也超过参数量达 32B 的重排序器。
要点速读
- 论文提出 Re³Rank,用推理轨迹 token 作为 RRHeads 的注意力查询来打分。
- 采用直通估计器将排序损失传过离散轨迹,实现生成器与评分器联合训练。
- 作者报告 9 个基准平均结果:4B 版本超最强基线 3.11 NDCG@10,0.6B 版本超过 32B 重排序器。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。