LangChain4j（15）——RAG高级之跳过检索

之前的文章中，我们介绍了RAG的使用，但是，每次提问时，都会通过RAG进行检索。有时，检索是不必要执行的，比如，当用户只是说“你好”时。于是，我们需要有条件的跳过检索过程。

跳过决策可以通过多种方式实施：

  • 使用规则（例如，取决于用户的权限、位置等）
  • 使用关键字（例如，如果查询包含特定单词）
  • 使用语义相似性
  • 使用 LLM 做出决定

注意：本例采用使用LLM做出决定的方案

测试代码

package com.renr.langchain4jnew.app5;import com.renr.langchain4jnew.constant.CommonConstants;
import dev.langchain4j.community.model.zhipu.ZhipuAiChatModel;
import dev.langchain4j.data.document.Document;
import dev.langchain4j.data.document.DocumentParser;
import dev.langchain4j.data.document.loader.FileSystemDocumentLoader;
import dev.langchain4j.data.document.parser.TextDocumentParser;
import dev.langchain4j.data.document.splitter.DocumentSplitters;
import dev.langchain4j.data.message.AiMessage;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.memory.chat.MessageWindowChatMemory;
import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.model.embedding.EmbeddingModel;
import dev.langchain4j.model.embedding.onnx.bgesmallenv15q.BgeSmallEnV15QuantizedEmbeddingModel;
import dev.langchain4j.model.input.Prompt;
import dev.langchain4j.model.input.PromptTemplate;
import dev.langchain4j.rag.DefaultRetrievalAugmentor;
import dev.langchain4j.rag.RetrievalAugmentor;
import dev.langchain4j.rag.content.retriever.ContentRetriever;
import dev.langchain4j.rag.content.retriever.EmbeddingStoreContentRetriever;
import dev.langchain4j.rag.query.Query;
import dev.langchain4j.rag.query.router.QueryRouter;
import dev.langchain4j.service.AiServices;
import dev.langchain4j.store.embedding.EmbeddingStore;
import dev.langchain4j.store.embedding.EmbeddingStoreIngestor;
import dev.langchain4j.store.embedding.inmemory.InMemoryEmbeddingStore;import java.net.URISyntaxException;
import java.net.URL;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.time.Duration;
import java.util.Collection;import static java.util.Collections.emptyList;
import static java.util.Collections.singletonList;public class AdvancedRAG04_SkipRetrieval {public static void main(String[] args) throws URISyntaxException {ChatLanguageModel chatModel = ZhipuAiChatModel.builder()// 模型key.apiKey(CommonConstants.API_KEY)// 精确度.temperature(0.9).model("GLM-4-Flash").maxRetries(3).callTimeout(Duration.ofSeconds(60)).connectTimeout(Duration.ofSeconds(60)).writeTimeout(Duration.ofSeconds(60)).readTimeout(Duration.ofSeconds(60)).logRequests(true).logResponses(true).build();URL fileUrl = AdvancedRAG01_QueryCompression.class.getClassLoader().getResource("document/miles-of-smiles使用条款.txt");Path path = Paths.get(fileUrl.toURI());// 指定文档解析器DocumentParser documentParser = new TextDocumentParser();// 加载文档数据Document document = FileSystemDocumentLoader.loadDocument(path, documentParser);EmbeddingModel embeddingModel = new BgeSmallEnV15QuantizedEmbeddingModel();EmbeddingStore<TextSegment> embeddingStore = new InMemoryEmbeddingStore<>();EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder().documentSplitter(DocumentSplitters.recursive(300, 0)).embeddingModel(embeddingModel).embeddingStore(embeddingStore).build();ingestor.ingest(document);ContentRetriever contentRetriever = EmbeddingStoreContentRetriever.builder().embeddingStore(embeddingStore).embeddingModel(embeddingModel).maxResults(2).minScore(0.6).build();// 自定义QueryRouter,当需要跳过检索时，QueryRouter 将返回一个空列表QueryRouter queryRouter = new QueryRouter() {// 设置提示词模版private final PromptTemplate PROMPT_TEMPLATE = PromptTemplate.from("以下提问是否与汽车租赁公司的业务有关?只回答'是'、'否'或'可能'。提问内容：{{it}}");@Overridepublic Collection<ContentRetriever> route(Query query) {// 提示词对象中，关联用户的提问内容Prompt prompt = PROMPT_TEMPLATE.apply(query.text());// 针对用户的提问，先通过大模型判断是否满足我们的提示词的要求AiMessage aiMessage = chatModel.chat(prompt.toUserMessage()).aiMessage();System.out.println("LLM decided: " + aiMessage.text());// 如果大模型返回 否，则返回空列表，表示不进行检索if (aiMessage.text().toLowerCase().contains("否")) {return emptyList();}return singletonList(contentRetriever);}};RetrievalAugmentor retrievalAugmentor = DefaultRetrievalAugmentor.builder().queryRouter(queryRouter).build();Assistant assistant = AiServices.builder(Assistant.class).chatLanguageModel(chatModel).retrievalAugmentor(retrievalAugmentor).chatMemory(MessageWindowChatMemory.withMaxMessages(10)).build();// 第一次提问，不会走检索过程String answer1 = assistant.chat("你好");System.out.println(answer1);// 第二次提问，执行检索String answer2 = assistant.chat("我可以取消预定吗?");System.out.println(answer2);}}

本例自定义QueryRouter,当需要跳过检索时，QueryRouter 将返回一个空列表，表示不需要经过任何检索对象。

执行流程

 第一次提问"你好"时

先发送是否需要走检索的提问：

13:29:30.244 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
- method: POST
- url: https://open.bigmodel.cn/api/paas/v4/chat/completions
- headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzAxNjAsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MDE2MA0KfQ.fwtna_6nALdYVqiTM_jJphWexVme4FRJxg-Lc1AXOTk]
- body: {"model" : "GLM-4-Flash","messages" : [ {"role" : "user","content" : "以下提问是否与汽车租赁公司的业务有关?只回答'是'、'否'或'可能'。提问内容：你好"} ],"stream" : false,"temperature" : 0.9,"max_tokens" : 512,"tool_choice" : "auto"
}

自动先根据我们例子中设置的提示词模版，询问是否与“汽车租赁公司业务相关”。

大模型根据提问内容，给出的回答：

{"choices": [{"finish_reason": "stop","index": 0,"message": {"content": "否","role": "assistant"}}],"created": 1745990971,"id": "2025043013293102690e02a7674aa7","model": "GLM-4-Flash","request_id": "2025043013293102690e02a7674aa7","usage": {"completion_tokens": 3,"prompt_tokens": 33,"total_tokens": 36}
}

通过响应看出，大模型返回了"否"，表示不用进行检索。

发送用户提出的问题

13:29:31.281 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
- method: POST
- url: https://open.bigmodel.cn/api/paas/v4/chat/completions
- headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzAxNjAsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MDE2MA0KfQ.fwtna_6nALdYVqiTM_jJphWexVme4FRJxg-Lc1AXOTk]
- body: {"model" : "GLM-4-Flash","messages" : [ {"role" : "user","content" : "你好"} ],"stream" : false,"temperature" : 0.9,"max_tokens" : 512,"tool_choice" : "auto"
}

可以看到这次只发送了"你好"，并没有通过RAG进行检索。

第二次提问“我可以取消预定吗”时

依旧需要先询问大模型是否需要检索

发送请求数据如下：

13:29:31.818 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
- method: POST
- url: https://open.bigmodel.cn/api/paas/v4/chat/completions
- headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzEyODEsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MTI4MQ0KfQ.iLHSgUhm6XqAB5LDPHXq2NnTUQ_NAiv0VE4ATTQbNWc]
- body: {"model" : "GLM-4-Flash","messages" : [ {"role" : "user","content" : "以下提问是否与汽车租赁公司的业务有关?只回答'是'、'否'或'可能'。提问内容：我可以取消预定吗?"} ],"stream" : false,"temperature" : 0.9,"max_tokens" : 512,"tool_choice" : "auto"
}

大模型认为用户的提问于知识库相关，于是返回内容：

{"choices": [{"finish_reason": "stop","index": 0,"message": {"content": "是","role": "assistant"}}],"created": 1745990972,"id": "20250430132932c36dbc932d2a4d9d","model": "GLM-4-Flash","request_id": "20250430132932c36dbc932d2a4d9d","usage": {"completion_tokens": 3,"prompt_tokens": 37,"total_tokens": 40}
}

大模型返回“是”，表示需要进行检索。

再次发送请求

请求数据中包括第一次的用户提问和大模型回答的内容

13:29:32.050 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
- method: POST
- url: https://open.bigmodel.cn/api/paas/v4/chat/completions
- headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzE4MTgsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MTgxOA0KfQ.A7e2fMdaX_6oI5uaS6oRaZs8HRiHm9ixCsWtyiSaPJM]
- body: {"model" : "GLM-4-Flash","messages" : [ {"role" : "user","content" : "你好"}, {"role" : "assistant","content" : "你好\uD83D\uDC4B！有什么可以帮助你的吗？"}, {"role" : "user","content" : "我可以取消预定吗?\n\nAnswer using the following information:\n8. 本条款的变更 我们可能随时通过修改此页面来修改这些使用条款。您应该不时查看此页面，以注意我们所做的任何更改。\n9. 接受这些条款 使用服务，即表示您承认您已阅读并理解这些条款，并同意受其约束。如果您不同意这些条款，请不要使用或访问我们的服务。\n\n1. 引言\n本服务条款（以下简称“条款”）适用于您（个人）从世界任何国家/地区访问或使用由在美国注册的 Miles of Smiles Car Rental Services 公司提供的应用程序、网站、内容、产品和服务（以下简称“服务”）。\n2. 服务\nMiles of Smiles 将车辆出租给最终用户。我们保留随时暂时或永久终止服务的权利，并且不对服务的任何修改、暂停或中止负责。\n3. 预订\n3.1 用户可以通过我们的网站或移动应用程序进行预订。\n3.2 您必须在预订过程中提供准确、最新和完整的信息。您负责您账户下产生的所有费用。\n3.3 所有预订均视车辆供应情况而定\n4. 取消政策"} ],"stream" : false,"temperature" : 0.9,"max_tokens" : 512,"tool_choice" : "auto"
}

从请求数据中可以看到，针对第二次提出的问题，进行了检索。 

通过上面的过程，可以看出，使用自定义QueryRouter后，每次发送问题之前，需要先根据我们的提示词模版，向大模型发送一个问题，让大模型判断是否需要进行检索。如果返回“否”，表示不需要进行检索；反之，需要通过RAG进行检索。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/diannao/81933.shtml
繁体地址，请注明出处：http://hk.pswp.cn/diannao/81933.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【SDRS】面向多模态情感分析的情感感知解纠缠表征转移

【SDRS】面向多模态情感分析的情感感知解纠缠表征转移

abstract 多模态情感分析（MSA）旨在利用多模态的互补信息对用户生成的视频进行情感理解。现有的方法主要集中在设计复杂的特征融合策略来整合单独提取的多模态表示，忽略了与情感无关的信息的干扰。在本文中，我们提出将单模表征分解为情感特定特征和情感独立特征，并将前者融…
阅读更多...
Sui 上线两周年，掀起增长「海啸」

Sui 上线两周年，掀起增长「海啸」

两年前的 5 月 3 日&#xff0c;Sui 的主网正式发布&#xff0c;将在开发网和测试网上验证过的下一代技术承诺变为现实。这一新兴网络旨在优化现有区块链技术&#xff0c;结合高性能计算环境与安全性、可验证性及韧性。 随着 Sui 迎来两周年&#xff0c;这股浪潮已成长为「海啸…
阅读更多...
深入理解 mapper-locations

深入理解 mapper-locations

mybatis-plus.mapper-locations: classpath*:/mapper/**/*.xml 是 MyBatis/MyBatis-Plus 在 Spring Boot 配置文件&#xff08;如 application.yml 或 application.properties&#xff09;中的一项关键配置&#xff0c;用于指定 MyBatis Mapper XML 文件的存放路径。以下是详细…
阅读更多...
电容的作用

电容的作用

使用多个电容是从电容的实际等效模型去考虑的(也就是从SI&#xff0c;信号完整性方面&#xff09;。只考虑一个实际电容时&#xff0c;它的阻抗曲线是一个类似于倒三角形的形状&#xff0c;只在谐振频率点(与等效串联电感形成)处的阻抗最小。因此相当于只在这一个频率点处及附近…
阅读更多...
移植的本质是什么

移植的本质是什么

有断时间我就在想&#xff0c;为什么freertos&#xff0c;lvgl等等的移植都是把库文件放进来&#xff0c;直接点击编译&#xff0c;然后把bug都处理完成就移植成功了&#xff0c;为什么呢&#xff1f; 明明我一个函数都没调用&#xff0c;为什么会有一堆错误&#xff0c;莫名其…
阅读更多...
广告场景下的检索平台技术

广告场景下的检索平台技术

检索方向概述 数据检索领域技术选型大体分为SQL事务数据库、NoSQL数据库、分析型数据库三个类型。 SQL数据库的设计思路是采用关系模型组织数据&#xff0c;注重读写操作的一致性&#xff0c;注重数据的绝对安全。为了实现这一思路&#xff0c;SQL数据库往往会牺牲部分性能&…
阅读更多...
高频PCB设计如何选择PCB层数？

高频PCB设计如何选择PCB层数？

以四层板为例&#xff0c;可以第一层和第二层画信号&#xff0c;作为信号层。 第三层可以走电源&#xff0c;然后第四层走GND 但是更可以第一层和第三层画信号。第二层可以走电源&#xff0c;然后第四层走GND 用中间的电源层以及地层可以起到屏蔽的作用&#xff0c;有效降低寄…
阅读更多...
[Linux_69] 数据链路层 | Mac帧格式 | 局域网转发 | MTU MSS

[Linux_69] 数据链路层 | Mac帧格式 | 局域网转发 | MTU MSS

目录 0.引入 1.以太网帧格式 2.重谈局域网转发的原理(基于协议) 小结 3.认识MTU 3.1MTU对IP协议的影响 3.2MTU对UDP协议的影响 3.3MTU对于TCP协议的影响 0.引入 在去年的这篇文章中&#xff0c;我们有对网络进行过一个概述[Linux#47][网络] 网络协议 | TCP/IP模型 | 以…
阅读更多...
vue2 provide 后 inject 数据不是响应式的，不实时更新

vue2 provide 后 inject 数据不是响应式的，不实时更新

今天用 provide 后&#xff0c;inject 获取数据时不是实时更新的&#xff0c;获取的不是更新后的值 祖父组件 <div style"text-align: left !important;"><button click"change">更改</button> </div>data() {return {name: ini…
阅读更多...
洛谷---P1629 邮递员送信

洛谷---P1629 邮递员送信

题目描述 有一个邮递员要送东西&#xff0c;邮局在节点 1。他总共要送 n−1 样东西&#xff0c;其目的地分别是节点 2 到节点 n。由于这个城市的交通比较繁忙&#xff0c;因此所有的道路都是单行的&#xff0c;共有 m 条道路。这个邮递员每次只能带一样东西&#xff0c;并且运…
阅读更多...
2025年LangChain（V0.3）开发与综合案例

2025年LangChain（V0.3）开发与综合案例

LangChain是什么&#xff1f; 在实际企业开发中&#xff0c;大模型应用往往比简单的问答要复杂得多。如果只是简单地向大模型提问并获取回答&#xff0c;那么大模型的许多强大功能都没有被充分利用。 要开始使用LangChain&#xff0c;首先需要安装相关的库&#xff1a; pip …
阅读更多...
十分钟了解 @MapperScan

十分钟了解 @MapperScan

MapperScan 是 MyBatis 和 MyBatis-Plus 提供的一个 Spring Boot 注解&#xff0c;用于自动扫描并注册 Mapper 接口&#xff0c;使其能够被 Spring 容器管理&#xff0c;并与对应的 XML 或注解 SQL 绑定。它的核心作用是简化 MyBatis Mapper 接口的配置&#xff0c;避免手动逐个…
阅读更多...
深度解析 MindTorch：无缝迁移 PyTorch 到 MindSpore 的高效工具

深度解析 MindTorch：无缝迁移 PyTorch 到 MindSpore 的高效工具

在深度学习领域&#xff0c;框架的选择往往取决于开发者的习惯、硬件支持以及项目需求。PyTorch 作为当前最受欢迎的深度学习框架之一&#xff0c;以其动态图机制和简洁的 API 设计深受开发者喜爱。然而&#xff0c;随着昇腾硬件的崛起&#xff0c;如何高效地利用昇腾的强大计算…
阅读更多...
[250506] Auto-cpufreq 2.6 版本发布：带来增强的 TUI 监控及多项改进

[250506] Auto-cpufreq 2.6 版本发布：带来增强的 TUI 监控及多项改进

目录 Auto-cpufreq 2.6 版本发布&#xff1a;带来增强的 TUI 监控及多项改进 Auto-cpufreq 2.6 版本发布&#xff1a;带来增强的 TUI 监控及多项改进 Auto-cpufreq&#xff0c;一款适用于 Linux 的免费开源自动 CPU 速度与功耗优化器&#xff0c;已发布其最新版本 2.6。该工具…
阅读更多...
Linux 更改内存交换 swap 为 zram 压缩，减小磁盘写入

Linux 更改内存交换 swap 为 zram 压缩，减小磁盘写入

1、查看当前 swap 的方式 swapon --show 我这里是默认的 swap 文件&#xff0c;大小为 2G。 2、安装 zram Ubuntu 下&#xff1a; sudo apt install zram-tools安装后默认会启动&#xff1a; 3、关闭默认的 swap 文件 sudo swapoff /swapfile 其次是关闭 /etc/fstab 中的 …
阅读更多...
ORCAD打印pdf

ORCAD打印pdf

1 笔记本电脑绑定了打印机&#xff0c;要改成这个
阅读更多...
C++中指针使用详解（4）指针的高级应用汇总

C++中指针使用详解（4）指针的高级应用汇总

C 中指针的高级应用非常丰富&#xff0c;掌握这些内容能让你写出更高性能、更底层控制力强的代码。下面是应用模块梳理和例子讲解。 目录预览 函数指针与回调机制指针数组 vs 数组指针指针与类成员函数&#xff08;成员函数指针&#xff09;智能指针&#xff08;unique_ptr, s…
阅读更多...
图像处理软件imgPro—调参救星！

图像处理软件imgPro—调参救星！

推荐一款图像处理软件imgPro&#xff0c;该软件是逛B站时偶然间发现&#xff0c;虽然up主是新号&#xff0c;但是视频中看起来非常实用&#xff01; 核心是多种算法高效调参&#xff0c;亮点是自动生成源码&#xff01;这您受得了吗&#xff1f;调试之后&#xff0c;直接复制代…
阅读更多...
DOM基础学习

DOM基础学习

一、DOM文档对象模型 通常将DOM看作一颗“树”&#xff0c;DOM将整个文档看作一颗“家谱树 ” 二、对象 用户定义的对象内建对象&#xff08;Array、Date、Math&#xff09;宿主对象 三、节点 node 元素节点&#xff08;element node&#xff09;文本节点&#xff08;text…
阅读更多...
初识人工智能、机器学习、深度学习和大模型

初识人工智能、机器学习、深度学习和大模型

文章目录 1. 前言2. 相关概念3. 层级关系4. 应用场景对比4. 实际案例 初识人工智能、机器学习、深度学习和大模型 1. 前言 之前经常听人说AI、机器学习&#xff0c;深度学习之类的词汇&#xff0c;总是傻傻的不了解他们的区别&#xff0c;近来有空&#xff0c;来通俗说说个人看…
阅读更多...
最新文章

Copyright @ 2022~2023