主要内容总结
本文提出了一种具有强推理能力的列表式段落重排序模型ReasonRank,旨在解决现有重排序模型在推理密集型场景(如复杂问答、数学问题、代码查询等)中表现不佳的问题,核心原因是这类场景缺乏高质量的推理密集型训练数据。
为解决这一问题,研究团队:
- 设计了自动推理密集型训练数据合成框架,从复杂问答、代码、数学、网页搜索四个领域收集查询和段落,利用DeepSeek-R1生成高质量标签(包括推理链和黄金排序列表),并通过自一致性过滤机制保证数据质量,最终得到1.3万条高质量训练数据。
- 提出两阶段训练框架:
- 冷启动监督微调(SFT)阶段:让基础大语言模型学习列表式推理模式和黄金排序。
- 强化学习(RL)阶段:设计多视角排序奖励(结合NDCG@10、Recall@10、RBO等指标),优化模型的排序能力,适配列表式排序的滑动窗口特性。
实验结果显示,ReasonRank在BRIGHT和R2MED两个推理密集型基准上超越现有基线模型,且延迟低于点式重排序模型Rank1,在BRIGHT排行榜上达到SOTA性能(40.6分)。
创新点
- 自动推理密集