[云上玩转Qwen3系列之四]PAI-LangStudio x AI搜索开放平台 x ElasticSearch: 构建AI Search RAG全栈应用

本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于AI搜索开放平台 x ElasticSearch 的 AI Search RAG 智能检索应用。该应用通过使用 AI 搜索开放平台、ElasticSearch 全文检索+向量检索引擎的混合检索技术配合阿里云最新发布的 Qwen3 推理模型编排在一个 Agentic Workflow 中,为客户提供了业内领先的 AI Search RAG 检索应用能力,使用 NLP 自然语言即可实现 AI Search 的精准查询可靠效果。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。

实践背景

本文是基于 PAI-LangStudio x AI 搜索开放平台 x ElasticSearch 来构建业内领先且功能强大的一站式 AI Search 智能混合检索 RAG 智能应用方案。下面介绍如何完成场景实操:

前提条件

  • 已创建专有网络 VPC、交换机和安全组。具体操作请参见搭建IPv4专有网络和创建安全组。
  • 登录 PAI 控制台,在左侧导航栏单击工作空间列表(如无 已有工作空间列表)。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。如您尚未创建工作空间,请创建工作空间。
  • 登录AI搜索开放平台,获取 Endoint 和 API-Key。
  • 登录 Elasticsearch控制台,创建 Elasticsearch 实例,并进行安全访问配置(如可打开“使用HTTPS协议”选项以增强安全性)。

场景部署步骤

步骤一:在PAI-LangStudio中添加模型服务连接:

1. 通过 PAI控制台 > 进入PAI-LangStudio > 连接 > 模型服务 > 新建连接

2. 选择 “AI搜索开放平台 Embedding 模型服务”,并填入从AI搜索开放平台获取到的 Endpoint 和api_key,创建模型服务连接:

3. 创建好后,可以在列表页看到刚刚创建的AI搜索开放平台Embedding模型服务连接:

步骤二:在PAI-LangStudio中新建数据库连接

  1. 在PAI-LangStudio中,选择“连接” -> “数据库” 标签页后,点击“新建连接”:

2. 填入在Elasticsearch控制台中查看到的Elasticsearch实例的地址和用户名、密码(注意如果Elasticsearch未开启HTTPS连接,此处url需要填写 http:// 头)后,点击确定:

此时在连接列表中可以看到刚刚添加的数据库连接:

步骤三:新建PAI-LangStudio运行时相关信息

1. "运行时"设置确认。在PAI-LangStudio中选择“运行时”标签页,点击“新建运行时”,填入必要的信息如:运行时工作路径(选择OSSbucket中一个目录)、专有网络、安全组与交换机信息(需要跟Elasticsearch所在网络畅通)后点击“确定”:

2. 之后可以在运行时列表中看到该运行时。

步骤四:在PAI-LangStudio中创建知识库

1. 在PAI-LangStudio中,选择“知识库”标签页,并点击“新建知识库”,选择文档所在OSS路径作为“数据源OSS路径”,并选择一个“输出OSS路径”用来保存文档解析处理中间结果和索引相关信息:

2. 选择 “AI搜索开放平台 Embedding 模型服务”标签,并选择步骤一中创建的模型服务连接后,可以选择具体支持的Embedding模型(其中 001模型 和 002模型维度不同,可用于不同场景选择);选择步骤二中创建的向量数据库连接,并填入一个向量数据库索引名,选择步骤5中创建的运行时后,点击确定:

3. 之后可以在知识库列表中看到刚刚创建的知识库。点击知识库名称后,可以查看知识库概览、文档查看,以及进行召回测试:

4. 在“文档”标签页,可以通过拖拽方式将本地文件上传至OSS中:

5. 在文档上传后,点击“更新索引”按钮,在弹出的浮窗中选择网络和安全组资源配置后,点击“确定”,即可开始进行知识库索引的更新:

此时可以看到有一个索引创建的任务在运行中(也可以通过知识库->操作记录查看任务):

等待几分钟后,索引构建完毕。此时刷新文档标签页,可以看到文档从“未索引”状态 变为“已索引”。点击列表中的文档名称,可以看到该文档的分块情况,以及每个文档块的使能与否。通过点击文档分块中的✅ 标记,也可以对该文档块进行enable/disable操作。当文档分块被disable后,进行召回时将忽略该文档块:

6. 在PAI-LangStudio的新版知识库中,选择“召回测试”标签,输入问题,设置检索条件(建议score阈值在0.5-0.6之间)后,点击“测试”,可以在右侧看到召回结果:

步骤五:在应用流中使用RAG知识库

1. 在PAI-LangStudio的“应用流”标签点击“新建应用流”,选择“从模板新建” -> “RAG”模板,创建应用流:

之后自动跳转至应用流界面:

2. 点击“知识库检索”节点,配置检索参数(选择知识库索引,设置filter):

2. 点击“大模型”节点,配置“模型设置”(选择模型、配置参数、开启/关闭思考):

3. 点击“运行”按钮,输入检索问题后,可以工作流中的运行框获取检索信息:

由于ElasticSearch的混合检索能力,检索准确率大大提升。

步骤六:通过 PAI-LangStudio部署EAS模型服务,支持API调用知识库能力

应用流开发调试完成后,单击右上角的部署,根据需要选择合适的机型以及专有网络,注意EAS实例需要使用与应用流中其他服务实例相同的VPC,以保证安全和网络连通。点击确定 > 跳转到PAI-EAS模型服务 查看部署任务。

场景方案价值 - ES + RAG Agent应用

在PAI- LangStudio 中, 使用AI搜索开放平台提供原子化Embeding/Rerank模型能力和Elasticsearch向量数据库,高效地处理大规模数据,结合大模型LLM分析能力,以快速构建一站式AI Search RAG增强搜索/混合检索的全栈应用能力。将AI智能信息检索与智能问答效率与准确率大大提升。

通过以上步骤,您可快速使用PAI-LangStudio构建基于 AI搜索开放平台 和Elasticsearch引擎优势实现AI Search RAG应用,满足专业知识库场景AI Search需求。

更多介绍

Qwen3

作为Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。基于广泛的训练,Qwen3 在推理、指令跟随、代理能力和多语言支持方面取得了突破性的进展,具有以下关键特性:

  • 独特支持在思考模式(用于复杂逻辑推理、数学和编码)和 非思考模式(用于高效通用对话)之间无缝切换,确保在各种场景下的最佳性能。
  • 显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ (在思考模式下)和 Qwen2.5 指令模型(在非思考模式下)。
  • 擅长 Agent 能力,可以在思考和非思考模式下精确集成外部工具,在复杂的基于代理的任务中在开源模型中表现领先。可与PAI-LangStudio 大模型开发平台无缝集成:结合MCP Server服务,增强智能数据分析能力
  • 支持 100 多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力。

PAI-LangStudio - 大模型Agent应用开发平台

大模型&Agent应用开发平台(PAI-LangStudio)是依托阿里云PAI产品核心能力构建的面向企业级用户的一站式大模型应用开发平台。简化了企业级大模型应用的开发流程,同时提供了灵活的可编程能力、实时调试能力与链路追踪的能力,帮助开发者快速构建端到端的AI应用。原生兼容支持通义系列Qwen系列大模型。PAI-LangStudio专注于提供LLM全链路开发部署能力,可支持发布有状态、多Agent的复杂工作流发布部署成PAI-EAS模型服务,并在生产环境提供API应用服务。

参考:大模型应用开发LangStudio_人工智能平台 PAI(PAI)-阿里云帮助中心

AI搜索开放平台

AI搜索开放平台围绕智能搜索及RAG场景,将AI搜索链路中用到的算法服务以组件化形式提供,内置文档解析、文档切片、文本向量化、查询分析、召回、排序、效果评估以及LLM模型服务,开发者根据自身情况灵活选择组件服务进行搜索业务开发。

AI搜索开放平台-联网搜索

AI搜索开放平台提供联网搜索功能,支持直接调用联网搜索API或调用内容生成服务时启用联网搜索。

ElasticSearch混合检索

阿里云检索服务Elasticsearch版(简称ES)结合了AI搜索开放平台的组件化模型能力,提供全文检索+向量检索引擎的混合检索技术, 可用于构建高效、精准的复杂语义搜索系统。通过搭建AI语义搜索的方法,带用户体验AI技术如何提升搜索的准确性和用户体验。

RAG 检索增强 简介

随着AI技术的飞速发展,生成式人工智能在文本生成、图像生成等领域展现出了令人瞩目的成就。然而,在广泛应用大语言模型(LLM)的过程中,以下固有局限性问题逐渐显现:

  • 领域知识局限:大语言模型通常基于大规模通用数据集训练而成,难以针对专业垂直领域提供深入和针对性处理。
  • 信息更新滞后:由于模型训练所依赖的数据集具有静态特性,大模型无法实时获取和学习最新的信息与知识进展。
  • 模型误导性输出:受制于数据偏差、模型内在缺陷等因素,大语言模型可能会出现看似合理实则错误的输出,即所谓的“大模型幻觉”。

为克服这些挑战,并进一步强化大模型的功能性和准确性,检索增强生成技术RAG(Retrieval-Augmented Generation)应运而生。这一技术通过整合外部知识库,能够显著减少大模型虚构的问题,并提升其获取及应用最新知识的能力,从而实现更个性化和精准化的LLM定制。

相关链接

  • LangStudio产品文档
  • AI搜索开放平台
  • 检索分析服务Elasticsearch版
  • 阿里云Elasticsearch AI场景语义搜索
  • 基于阿里云Elasticsearch使用RAG搭建知识库在线问答

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/87147.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/87147.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端请求浏览器提示net::ERR_UNSAFE_PORT的解决方案

起因 项目中后端给到了6666端口的服务地址, 随即前端项目访问中浏览器报错如下: 不安全端口在主流浏览器(Chrome/Firefox/Edge/Safari)中会被拦截,触发浏览器Network的status列显示 net::ERR_UNSAFE_PORT 错误, 以下是常见的不安全端口一览…

【Bluedroid】蓝牙设备管理器初始化全流程深度解析(BTA_dm_on_hw_on)

本文全面剖析Android蓝牙设备管理器在硬件启动时的初始化流程,涵盖控制块创建、服务发现启动、设备类配置、安全密钥加载、超时参数设置等核心环节。通过分析从底层硬件交互到上层服务注册的全链路调用,揭示蓝牙系统从硬件就绪到功能可用的完整启动机制&…

大语言模型:是逐字生成还是一次多词?

大语言模型(LLM)既可以按顺序逐个生成单词(token),也能实现一次生成多个 token 核心差异源于解码策略与模型架构设计 一、常规“逐个生成”模式(基础逻辑) 多数入门级演示或简单文本生成中,LLM 会默认按 “生成一个 token → 拼接回输入 → 再生成下一个” 的流程,…

通俗易懂的LangGraph图定义解析

LangGraph 是一个基于状态的工作流框架,它通过 节点(Nodes) 和 边(Edges) 的组合,构建出复杂的工作流逻辑。这种设计特别适合处理需要动态决策、循环、多步骤交互的场景(比如对话系统、智能代理…

K8s Pod调度基础——2

目录 一、Deployment ‌一、Deployment 原理‌ ‌二、核心特性‌ ‌三、意义与场景‌ ‌四、示例与逐行解释‌ ‌五、总结‌ StatefulSet ‌一、StatefulSet 原理‌ ‌二、核心特性‌ ‌三、意义与场景‌ ‌四、示例与逐行解释‌ ‌五、总结‌ 彼此的区别 一、本质…

Java 大视界 -- Java 大数据在智能医疗健康管理中的慢性病风险预测与个性化干预(330)

Java 大视界 -- Java 大数据在智能医疗健康管理中的慢性病风险预测与个性化干预(330) 引言:正文:一、Java 构建的医疗数据融合平台(多源数据安全打通)1.1 分布式医疗数据集成系统(符合 HIPAA 与…

beego打包发布到Centos系统及国产麒麟系统完整教程

1、先清除go缓存,用下面命令 go clean -cache go clean -modcache 2、更新库文件 go mod tidy 3、安装beego go install github.com/beego/bee/v2latest 4、查看bee版本 5、进行打包然后传到Centos和麒麟服务器如下代码 bee pack -be GOOSlinux -be GOARCHa…

Instagram和facebook广告对比解析

一、平台用户画像对比 用户基础数据 (1)活跃用户规模 Instagram:20亿MAU,以年轻群体为主力 Facebook:29亿MAU,覆盖全年龄段用户 (2)核心用户特征 Instagram: • 25-3…

[MIA 2025]CLIP in medical imaging: A survey

论文网址:CLIP in medical imaging: A survey - ScienceDirect 项目页面:github.com 英文是纯手打的!论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误,若有发现欢迎评论指正!文章偏…

Python通讯录系统实战教程

具体介绍见 通讯录管理系统设计与实现(C)-CSDN博客 class Person:def __init__(self, name"", sex0, age0, phone"", addr""):self.m_name name # 姓名self.m_Sex sex # 性别(1-男,2-女…

虾米壁纸分类页面代码

<template> <view class"wallpaper-category"> <custom-nav-bar title"分类列表"></custom-nav-bar> <!-- 分类展示 --> <scroll-view scroll-y class"category-scroll-view"> <view cl…

K8s-pod 调度基础

目录 Replication Controller&#xff08;RC&#xff09; 概念 关键字段 Replica Set&#xff08;RS&#xff09; 概念 关键字段 RC 与 RS 的区别 无状态应用管理Deployment 无状态应用&#xff08;Stateless Application&#xff09; 什么是无状态&#xff1f; 无状…

Vue + RuoYi 前后端分离入门手册

Vue RuoYi 前后端分离技术栈是一个非常流行且成熟的企业级后台管理系统开发方案&#xff0c;尤其在国内 Java 开发社区中广泛应用。它结合了现代化的前端框架 Vue.js 和基于 Spring Boot 的后端框架 RuoYi&#xff0c;提供了开箱即用的权限管理、代码生成、监控等功能&#xf…

JSON 安装使用教程

一、JSON 简介 JSON&#xff08;JavaScript Object Notation&#xff09;是一种轻量级的数据交换格式&#xff0c;易于人阅读和编写&#xff0c;同时也易于机器解析和生成。它广泛应用于前后端数据通信、配置文件、API 传输等场景。 二、JSON 是否需要安装&#xff1f; 不需要…

十大网络协议

十大网络协议 标题1. HTTP&#xff08;HyperText Transfer Protocol&#xff0c;超文本传输协议&#xff09;标题2. HTTPS&#xff08;Secure Hypertext Transfer Protocol&#xff0c;安全超文本传输协议&#xff09;标题3. HTTP/3标题4. TCP&#xff08;Transmission Control…

【语音告警】博灵智能语音报警灯Modbus TCP触发告警实例-语音报警灯|声光报警器|网络信号灯

功能说明 本文将以Python代码为例&#xff0c;讲解如何通过Python代码调用博灵语音通知终端A4实现声光语音告警。 本代码实现Python触发Modbus写多寄存器和写单寄存器实现调用通知终端模板播报功能&#xff08;通知终端内置TTS语音合成技术&#xff0c;本案例不讲解如何文本转…

摄像头 rtsp数据量 和正常数据流有什么区别

摄像头RTSP数据流和正常数据流&#xff08;如HTTP传输的普通文件或网页数据&#xff09;在多个方面存在显著差异&#xff0c;主要体现在协议特性、数据量、实时性、应用场景等方面。以下是具体对比&#xff1a; 1. 协议与传输方式 RTSP流&#xff1a; 实时流协议&#xff08;R…

深入理解装饰器模式:动态扩展对象功能的灵活设计模式

深入理解装饰器模式&#xff1a;动态扩展对象功能的灵活设计模式 &#x1f31f; 嗨&#xff0c;我是IRpickstars&#xff01; &#x1f30c; 总有一行代码&#xff0c;能点亮万千星辰。 &#x1f50d; 在技术的宇宙中&#xff0c;我愿做永不停歇的探索者。 ✨ 用代码丈量世界…

141.在 Vue 3 中使用 OpenLayers Link 交互:把地图中心点 / 缩放级别 / 旋转角度实时写进 URL,并同步解析显示

本文分享一个前端小技巧&#xff1a;借助 OpenLayers 的 Link 交互 在浏览器地址栏实时记录地图状态&#xff0c;同时把这些参数解析出来展示在页面上。 ✨ 双向同步&#xff1a;拖动、缩放、旋转地图时&#xff0c;URL 自动更新&#xff1b;手动修改 URL 或后退 / 前进&#x…

数字人的形象与内容,虚拟形象背后的权益暗战

&#xff08;首席数据官高鹏律师数字经济团队创作&#xff0c;AI辅助&#xff09; 当某科技公司的虚拟偶像在直播间收获百万打赏时&#xff0c;当某品牌的数字代言人形象被篡改成表情包全网传播时&#xff0c;当网红博主的AI分身开始替代真人直播带货时&#xff0c;一场关于数…