华为云Flexus+DeepSeek征文|CCE容器高可用部署搭建Dify-LLM平台部署AI Agent

华为云Flexus+DeepSeek征文|CCE容器高可用部署搭建Dify-LLM平台部署AI Agent

前言

Dify是一款开源的大语言模型应用开发平台,融合了后端即服务和LLMOps的理念,使开发者可以快速搭建生产级的生成式AI应用,本文将详细介绍如何使用华为云 Flexus x 实例和CCE容器高可用部署搭建Dify-LLM平台部署AI Agent,进而部署 AI Agent。

CCE容器高可用部署

在这里插入图片描述

创建三个弹性公网 IP EIP,搭建弹性负载均衡 ELB 并绑定 EIP 以分发流量,创建 NAT 网关 NAT 并绑定 EIP 且配置 SNAT 规则,创建三台 FlexusX 实例安装 Dify 核心插件、一台 FlexusX 实例部署特定模型,搭建云容器引擎 CCE Turbo 集群并纳管 FlexusX 实例,利用对象存储服务 OBS 挂载 Dify 知识库,创建分布式缓存服务 Redis®* 版、云数据库 RDS for PostgreSQL 实例、云搜索服务 CSS OpenSearch 集群,并创建四个安全组为云服务器提供安全防护。

前提准备

个人建议官方文档搭配博主的流程一起看,因为官方文档有的地方可能不是那么详细

  • 创建rf_admin_trust委托和创建OBS桶名:官方文档
  • 获取访问密钥AK/SK:官方文档
创建rf_admin_trust委托

1、统一身份认证-委托-创建委托-创建rf_admin_trust委托

在这里插入图片描述

2、创建委托

委托名称:rf_admin_trust

委托类型:云服务

云服务:选择RFS

在这里插入图片描述

3、立即授权

在这里插入图片描述

4、搜索框中输入"Tenant Administrator"并勾选搜索结果,单击"下一步"

在这里插入图片描述

5、选择所有资源,并单击确定完成配置

在这里插入图片描述

在这里插入图片描述

6、委托列表中出现rf_admin_trust委托则创建成功

在这里插入图片描述

7、在云容器引擎CCE控制台,实现授权cce_admin_trustcce_cluster_agency 委托

云容器引擎CCE控制台

在这里插入图片描述

8、委托确认

在这里插入图片描述

获取OBS桶名

1、创建桶(配置桶名即可,其他默认后续可以修改)-立即创建

在这里插入图片描述

2、桶列表显示则表示创建成功

在这里插入图片描述

获取AK、SK密钥

1、我的凭证-访问密钥

在这里插入图片描述

2、新增访问密钥

在这里插入图片描述

3、下载密钥

在这里插入图片描述

4、保存密钥,如下获取到了access_key

在这里插入图片描述

5、可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK)

在这里插入图片描述

CCE高可用部署流程

1、点击一键部署(CCE容器高可用部署)

在这里插入图片描述

2、选择模板(默认配置即可)

创建方式:已有模板

模板来源:URL

模板 URL:系统默认

在这里插入图片描述

3、参数配置

资源栈名称:资源栈名称以中文或英文开始,支持中文、大小写英文、数字、下划线、中划线,128个字符之内。 资源栈名称不能重名。

如下内容非常重要,请仔细检查,避免出错

按模板要求对部分资源加密:取消勾选

cce_node_pool_password:CCE集群node节点密码,用于集群节点登录

pgsql_password:PostgreSQL数据库的管理员密码,取值范围

pgsql_user_password:PostgreSQL数据库的database用户密码

redis_password:redis数据库密码

css_password:CSS向量数据库的密码

obs_bucket: 按照上面创建的桶名填写

access_key:填写访问密钥ID(AK)

secret_key:填写下载的.csv文件中查看秘密访问密钥(SK)

ecs_password:部署Embedding和Reranker模型的云服务器密码

完成如上配置,下一步即可,特别注意密码的格式要求,否者在执行任务的时候会回滚报错

在这里插入图片描述

4、资源栈设置

IAM权限委托:选择上面已经创建的委托

回滚设置和删除保护:可以根据需要开启,默认是关闭,建议开启回滚设置,如果创建失败华为云会自动删除创建的一些列配置,如果不开启需要手动删除非常麻烦

在这里插入图片描述

5、配置确认

确认自己所做的配置有没有问题,如果问题创建执行任务即可,创建执行任务确认即可

在这里插入图片描述

在这里插入图片描述

6、部署-执行

在这里插入图片描述

在这里插入图片描述

7、基本信息-状态等待部署完成即可(这个过程华为云正在创建CCE容器高可用部署所需要的一些列配置,可能会给手机频繁发短信,代表创建完成)

在这里插入图片描述

8、等待部署完成(预计10-20分钟)

在这里插入图片描述

在这里插入图片描述

9、浏览器地址访问

在这里插入图片描述

Dify平台搭建AI Agent

1、通过浏览器访问链接来访问Dify - LLM 应用开发平台,设置管理员账户Dify - LLM 应用开发平台

在这里插入图片描述

2、通过设置的管理员账户信息来登录

在这里插入图片描述

3、登录后显示如下页面,代表Dify - LLM 应用开发平台已经部署成功

在这里插入图片描述

4、Dify - LLM 应用开发平台模型供应商配置(接入DeepSeek)

在这里插入图片描述

5、模型供应商中找到深度求索并且安装(预计安装5分钟左右)

在这里插入图片描述

6、安装成功如下所示(点击一次安装Dify - LLM 应用开发平台会进行下载安装,再点一次安装就可以在如下页面看到自己所安装的模型供应商了)

在这里插入图片描述

7、DeepSeek模型供应商配置(OpenAI-API-compatible供应商)

在这里插入图片描述

在这里插入图片描述

8、API Key获取:ModelArts Studio控制台,点击API KEY管理,创建自己的API KEY,标签和描述根据自己的填即可,获取到自己的API KEY注意保存(只会显示一次自己的API KEY)

在这里插入图片描述

在这里插入图片描述

9、自定义 API endpoint 地址获取:ModelArts Studio控制台,点击在线推理,选择自己的服务,商用服务或者免费服务的用法相同,点击调用说明获取自定义API endpoint 地址

在这里插入图片描述

10、点击OpenAI SDK复制API接口信息,这个就是自己的API endpoint 地址

在这里插入图片描述

11、Dify - LLM 应用开发平台填写获取到的API KEY和自定义 API endpoint 地址和模型名称

在这里插入图片描述

12、点击保存,页面会显示修改成功,配置成功页面如下

在这里插入图片描述

13、模型供应商配置成功,就可以创建一个AI Agent,创建空白应用

在这里插入图片描述

14、应用类型选择Agent

  • 聊天助手:简单配置即可构建基于 LLM 的对话机器人

  • Agent:具备推理与自主工具调用的智能助手

  • 文本生成应用:用于文本生成任务的 AI 助手

  • Chatflow:支持记忆的复杂多轮对话工作流

  • 工作流:面向单轮自动化任务的编排工作流

在这里插入图片描述

15、提示词配置,可以使用AI生成配置,提供Agent的身份,点击应用即可

提示词生成器:用配置的模型来优化提示词,以获得更高的质量和更好的结构。请写出清晰详细的说明

在这里插入图片描述

在这里插入图片描述

16、调试与预览,输入article_content(文章内容)和user_specific_requests(用户个性化的要求),然后发送需求即可

在这里插入图片描述

17、发布智能体

在这里插入图片描述

18、点击探索就可以看到自己发布的智能体进行体验了

在这里插入图片描述

19、AI Agent部署结果展示

  • article_content
华为云 Flexus X 实例性能卓越,依托擎天 QingTian 架构与瑶光云脑技术,融合大模型调度及智能加速算法,实现 1.6 倍于业界通用独享产品的算力,为复杂业务负载提供强劲动力;创新的 X-Turbo 加速技术,能让关键业务应用实现最高 6 倍性能提升,如 MySQL、Redis、Nginx 等场景下均有显著加速表现;其在成本控制上独具优势,打破传统固定配比模式,支持灵活定制算力,结合智能资源预画像及持续动态画像规格优化,综合降本达 30%;可靠性方面堪称旗舰级,具备跨 AZ 99.995% 的高可用性及 100 + 全球权威合规认证,全方位保障业务稳定运行与数据安全。
  • user_specific_requests
着重强调性能优势

在这里插入图片描述

CCE容器高可用部署资源删除

1、资源编排服务控制台点击进入资源栈ID

在这里插入图片描述

2、点击删除,输入Delete就可以完全删除部署的资源,不会有任何残留,避免额外扣费

在这里插入图片描述

在这里插入图片描述

3、等待资源删除需要一定的时间,3分钟左右即可

在这里插入图片描述

在这里插入图片描述

4、OBS桶删除,如果显示不是空桶无法删除则需要先删除桶里面的文件,再删除桶

在这里插入图片描述

5、进入桶内删除文件,如何再删除桶

在这里插入图片描述

点击进入桶内

在这里插入图片描述

桶文件删除

在这里插入图片描述

桶删除

在这里插入图片描述

华为云Flexus云服务体验感受

在这里插入图片描述

个人认为,FlexusX 实例为开发者带来了极大的便利,传统的部署模式下,开发者往往要在环境配置、依赖安装、版本适配等琐碎事务上耗费大量精力,这些工作不仅繁杂,而且极易出错,稍有不慎就可能导致整个部署流程停滞,严重影响开发进度,但 FlexusX 实例简化了这个过程,预先集成了 Dify 所需的各种环境和基础组件,开箱即用。

安装部署 Dify 的 5 个核心插件为例,以往使用传统方法,可能需要逐个去研究每个插件的安装文档,手动下载依赖包,配置各种参数,这一过程可能需要数天甚至数周时间。而借助 FlexusX 实例,通过其便捷的管理界面和自动化脚本,开发者能够轻松地在短时间内完成这 5 个核心插件的部署,大大缩短了项目的前期准备周期。这意味着开发者可以将更多的时间和精力投入到真正有价值的开发工作中,比如优化 AI Agent 的功能、提升用户体验等。

而且,FlexusX 实例具备良好的稳定性和可扩展性。在开发过程中,随着项目规模的扩大和用户量的增长,对服务器资源的需求也会相应增加。FlexusX 实例能够根据实际需求,灵活地调整资源配置,无论是增加 CPU、内存还是存储容量,都能在不影响业务正常运行的情况下快速完成。这一特性为开发者提供了坚实的技术后盾,让他们无需担忧因资源不足而导致的系统崩溃或性能瓶颈问题,能够更加专注地进行业务逻辑的开发和创新。

此外,FlexusX 实例还提供了完善的监控和运维工具。开发者可以实时查看实例的运行状态,包括 CPU 使用率、内存占用、网络流量等关键指标。一旦出现异常情况,能够及时收到预警信息,并通过内置的诊断工具快速定位和解决问题。这大大降低了运维的难度和成本,对于一些缺乏专业运维团队的小型企业或个人开发者来说,尤为重要。它使得开发者在享受高效部署带来的便利的同时,也能确保系统的稳定运行,为项目的成功实施提供了有力保障。

在这里插入图片描述

华为云Flexus云服务基于你的的场景和负载灵活部署

  • 电商直播:在云服务器上搭建电商交易平台,百万并发链接从容应对电商市场瞬息万变对的业务压力变化
  • 电商店铺管理:使用云服务器登录电商后台,管理店铺;或快速搭建外贸独立站、店铺管理环境,为海内外顾客提供稳定、优质的服务
  • 企业建站:提供常用建站类应用模板,快速构建满足业务诉求的网站,如企业官网、资讯、博客、论坛、电商等
  • 小程序后台:适合于构建微信小程序以及公众号后台服务,降低维护成本,让用户专注于业务开发
  • 游戏服务器:在云服务器中部署游戏服务端,满足多人联机游戏诉求,灵活选配,快速部署
  • 开发测试:适合云端构建即开即用的远程开发、测试项目,运行定时任务、自动任务等
  • 云端学习:帮助学生、开发者在云端做一些实验、论文等
  • 搭建博客/论坛:方便个人开发者搭建博客、论坛、个人设计作品、简历等,性价比高

彩蛋

博主在CCE容器高可用部署的时候遇到了一个小问题,当时还不觉得是华为云CCE容器高可用部署系统逻辑问题,只是觉得不太合理

  • 问题复现

CCE 容器高可用部署过程中,当用户点击部署后,华为云会按顺序创建相关服务。若此前的配置存在问题,如密码不符合要求、委托未创建、OBS 桶名不存在或未创建、AK/SK 密钥错误、权限不足,或者某个服务在一键部署时未能创建成功等,都将导致整个服务部署不成功引发后续问题。

由于 CCE 容器高可用部署是按需收费,在部署流程中,若 Nat 网关创建成功,但因前面环节的错误致使后续服务无法成功创建,进而导致整个服务部署失败,即便 Nat 网关仅被使用了极短时间,仍会按照按天计费的规则向用户收费,费用为 12 元 / 天。

我在部署 CCE 时,就因上述配置问题,致使 Nat 网关虽创建成功,但整个服务却未能成功部署。我不得不删除 CCE 并重新创建,在这过程中,我重复操作了 7 - 8 次,尽管每次 Nat 网关的使用时间可能仅有1~2分钟,却依然累计被收取了每次12元的 Nat 网关费用,而我的 CCE 始终因前述原因未能成功部署。因此,我向华为提交了工单,并与他们的后端工程师进行了沟通。

在这里插入图片描述

在这里插入图片描述

  • 问题解决

经过和华为工程师会议沟通,他们通过内部商讨,针对我反馈的 CCE 容器高可用部署中 Nat 网关收费不合理的问题,对 CCE 容器高可用部署中 Nat 网关的收费逻辑进行了调整。新的收费逻辑规定:若 CCE 部署未能成功,在删除部署时,相应产生的费用,包括 Nat 网关费用及其他相关费用,都会退还至用户账户。

不得不说华为工程师团队的处理速度还是非常迅速,我在当天中午提交问题反馈,下午他们便组织会议进行商讨,到了晚上就完成了收费逻辑的调整。不仅如此,华为工程师还全程协助我,走完了 CCE 部署的全流程,确保部署顺利完成。整个过程高效且贴心,为华为工程师团队的专业与负责点赞!

总结

我通过CCE容器高可用部署搭建Dify-LLM平台部署AI Agent,整个流程不是很难,相对于传统部署方式已经简化了许多流程,用户可以在搭建好的 Dify 平台上,便捷地利用 AI Agent 实现多种功能,借助 AI Agent 生成富有创意的文案精美图片、准确地响应用户咨询、定制专属的学习计划和资料、根据自身的业务特点和需求对 AI Agent 进行灵活定制和扩展,充分发挥其在不同行业和场景中的价值。

这种基于 CCE 容器的创新部署方式,不仅显著降低了技术门槛,使得开发者能够将更多的精力和时间投入到功能创新与业务拓展上,加速了 AI 应用的开发进程,同时也为企业在人工智能领域的发展提供了强有力的技术支撑。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/87646.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/87646.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Postman 的 Jenkins 管理 - 手动构建

目录 一、准备工作 二、postman 项目脚本准备并导出 1. 打开已完成并测试无误的 postman 项目脚本。 再次执行测试。 ​编辑2. 导出( 测试用例集、环境变量 两个文件)**“不 支 持 中 文”** —— 全部改成英文! ​编辑3. 文件所在目录…

音视频之H.264/AVC解码器的原理和实现

系列文章: 1、音视频之视频压缩技术及数字视频综述 2、音视频之视频压缩编码的基本原理 3、音视频之H.264/AVC编码器原理 4、音视频之H.264的句法和语义 5、音视频之H.264/AVC解码器的原理和实现 6、音视频之H.264视频编码传输及其在移动通信中的应用 7、音视…

【智能安全帽新升级】搭载VTX316TTS语音合成芯片,让安全“听得见”!

在工地轰鸣的机械声中,一句清晰的指令可能比任何文字都更有力量。 当智能安全帽遇上VTX316语音合成芯片,安全防护从“被动响应”进化为“主动交互”,为高危行业戴上了一顶“会说话的智慧大脑”! 传统安全帽的“沉默”危机 在建筑…

【目标检测】非极大值抑制(NMS)的原理与实现

🧑 博主简介:曾任某智慧城市类企业算法总监,目前在美国市场的物流公司从事高级算法工程师一职,深耕人工智能领域,精通python数据挖掘、可视化、机器学习等,发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…

DB-GPT启动提示please install by running `pip install cryptography`

DB-GPT项目需要 cryptography 库来处理加密功能,但环境中没有安装它。cryptography 是一个用于安全和加密操作的Python库,许多项目(包括DB-GPT)依赖它来处理敏感数据的加密存储。 解决方案 1. 安装 cryptography 库 在激活的环…

局域网文件共享及检索系统

标题:局域网文件共享及检索系统 内容:1.摘要 随着信息技术的飞速发展,局域网在企业、学校等场景中得到广泛应用,大量文件在局域网内存储和流转。然而,目前局域网内文件共享与检索存在效率低、管理困难等问题。本文旨在设计并实现一个高效的局…

Spring Boot医疗系统高并发难题:达梦数据库死锁排查与优化实战

Spring Boot医疗系统高并发难题:达梦数据库死锁排查与优化实战 引言:医疗系统中的并发挑战 在现代医疗系统中,检查申请处理是关键业务场景之一,每天需要处理数以万计的检查记录。当多个操作同时更新同一患者的申请状态时,数据库层面的死锁问题成为高并发环境下的典型痛点…

Go语言中的文件与IO:bufio 和 scanner

Go 标准库中的 bufio 包提供了带缓冲的读写功能,可以显著提高文件和数据处理效率。而 bufio.Scanner 则是读取文本文件中每一行的利器,常用于日志、配置等文本处理场景。 一、为什么使用 bufio? 直接对文件进行 os.File.Read() 或 os.File.W…

ABP微服务架构中网关层NullReferenceException问题解析与HTTP配置优化

ABP微服务架构中网关层NullReferenceException问题解析与HTTP配置优化 一、网关层System.NullReferenceException问题解析 1.1 问题现象与原因分析 在ABP微服务架构开发过程中,网关层启动后调用微服务接口时出现以下异常: System.NullReferenceExcep…

啊啊啊啊啊啊啊啊code

前序遍历和中序遍历构建二叉树 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, TreeNode left, TreeNod…

【算法 day06】LeetCode 454.四数相加II | 15. 三数之和 | 18. 四数之和

454.四数相加II 题目链接 | 文档讲解 |视频讲解 : 链接 1.思路: 0.定义一个count,计算最终出现的次数 1.先遍历nums1和nums2,求出两者的和,map的key是和,value是出现的次数 2.再遍历nums3和nums4,求出0-两者的和 3…

【项目实训】【项目博客#09】HarmonySmartCodingSystem系统后端智能API检索与代码助手实现(6.2-6.15)

【项目实训】【项目博客#09】HarmonySmartCodingSystem系统后端智能API检索与代码助手实现(6.2-6.15) 文章目录 【项目实训】【项目博客#09】HarmonySmartCodingSystem系统后端智能API检索与代码助手实现(6.2-6.15)项目博客概述一…

【JVM】- 类加载与字节码结构3

类加载阶段 1. 加载 加载:将类的字节码载入方法区中,内部采用C的instanceKlass描述java类。如果这个类的父类还没加载,则先加载父类加载和链接可能是交替运行的 通过全限定名获取字节码 从文件系统(.class 文件)、JA…

Qt蓝图式技能编辑器状态机模块设计与实现

设计概述 这个模块是一个基于Qt的蓝图式技能编辑器状态机,主要用于游戏开发中的技能状态管理。核心功能包括: 状态节点(开始、结束、普通状态)的可视化 状态间连线的绘制与管理 状态转换逻辑的可视化编辑 动作选择与配置 核…

Unity AR识别物体的内容语音读取+使用说明功能

因之前一直在开发项目,断断续续写了一点博客,最后统一写了一下博客记录学习内容。 可以看到我的工作一直在进行。 目录 一、识别内容语音读取 二、点击齿轮按钮弹出使用说明界面 开发步骤 1. 创建齿轮按钮 UI 2. 创建使用说明面板 UI 3. 编写控制…

Unable to start embedded Tomcat

通常是由于xml文件配置错误导致 1. mapper 指向错误 <resultMap id"Waybill" type"c.Waybill"> 2. 字段类型错误 <result column"wstatus" property"stus" javaType"TINYINT"/>TINYINT 是数据库类型<resu…

Mac电脑 充电限制保护工具 AlDente Pro

AlDente Pro一款充电限制保护工具&#xff0c;是可以限制最大充电百分比来保护电池的工具。 锂离子和聚合物电池&#xff08;如 MacBook 中的电池&#xff09;在40&#xff05; 至 80&#xff05; 之间运行时&#xff0c;使用寿命最长。 始终将电池电量保持在 100&#xff05…

KungfuBot——基于物理约束和自适应运动追踪的人形全身控制PBHC,用于学习打拳或跳舞(即RL下的动作模仿和运控)

前言 昨天618&#xff0c;我司「七月在线」同事朝阳为主力&#xff0c;我打杂&#xff0c;折腾了整整一天&#xff0c;终于可以通过VR摇操宇树G1了——当然&#xff0c;摇操是为了做训练数据的采集&#xff0c;从而方便 下一步的模型(策略)训练&#xff0c;最终实现机器人自主…

Kafka多副本机制

副本和副本因子 Kafka 会为每个 Partition 创建多个副本。这些副本分布在不同的 Broker 上。副本确保了数据的冗余存储&#xff0c;即使某个 Broker 宕机或失效&#xff0c;其他副本可以继续提供服务。 副本因子指的是每个 Partition 有多少个副本。副本因子的设置决定了一个…

Vue3类似百度风格搜索框组件

Vue3百度风格搜索框组件&#xff0c;使用vue3进行设计&#xff0c;亦有vue3TS的版本。 vue3组件如下&#xff1a; <template><!-- 搜索组件容器 --><div class"search-container"><!-- 百度Logo - 新样式 --><div class"logo-conta…