生成式排序是搜索排序的前沿方向,核心思想是利用生成式模型的能力来改善排序效果。
技术实现方式:
-
序列到序列重排序
- 将候选文档列表作为输入序列
- 使用encoder-decoder模型生成重排后的文档序列
- 优势:能捕捉文档间的全局相关性
-
生成式特征提取
- 使用LLM生成丰富的文档表示
- 提取语义特征、摘要特征等增强排序模型
- 效果:排序模型AUC提升5-8%
-
查询扩展增强
- 通过生成模型产生查询的同义表达、扩展问法
- 用扩展后的查询进行检索和排序
- 结果:长尾查询召回率提升25%
-
个性化生成排序
- 基于用户历史行为生成个性化排序信号
- 将用户画像信息融入生成过程
- 优势:显著提升个性化场景下的排序效果
-
端到端生成式检索
- 直接用生成模型输出相关文档ID或链接
- 跳过传统检索步骤,但技术要求更高
- 挑战:需要解决生成准确性和延迟问题
实际价值:
- 更好地理解复杂查询意图
- 处理传统方法难以解决的模糊匹配
- 自适应不同领域和语言风格
- 代表搜索排序的未来发展方向