华为云Flexus+DeepSeek征文|CCE容器高可用部署搭建Dify-LLM平台部署AI Agent
前言
Dify是一款开源的大语言模型应用开发平台,融合了后端即服务和LLMOps的理念,使开发者可以快速搭建生产级的生成式AI应用,本文将详细介绍如何使用华为云 Flexus x 实例和CCE容器高可用部署搭建Dify-LLM平台部署AI Agent,进而部署 AI Agent。
CCE容器高可用部署
创建三个弹性公网 IP EIP,搭建弹性负载均衡 ELB 并绑定 EIP 以分发流量,创建 NAT 网关 NAT 并绑定 EIP 且配置 SNAT 规则,创建三台 FlexusX 实例安装 Dify 核心插件、一台 FlexusX 实例部署特定模型,搭建云容器引擎 CCE Turbo 集群并纳管 FlexusX 实例,利用对象存储服务 OBS 挂载 Dify 知识库,创建分布式缓存服务 Redis®* 版、云数据库 RDS for PostgreSQL 实例、云搜索服务 CSS OpenSearch 集群,并创建四个安全组为云服务器提供安全防护。
前提准备
个人建议官方文档搭配博主的流程一起看,因为官方文档有的地方可能不是那么详细
- 创建rf_admin_trust委托和创建OBS桶名:官方文档
- 获取访问密钥AK/SK:官方文档
创建rf_admin_trust委托
1、统一身份认证-委托-创建委托-创建rf_admin_trust委托
2、创建委托
委托名称:rf_admin_trust
委托类型:云服务
云服务:选择RFS
3、立即授权
4、搜索框中输入"Tenant Administrator"并勾选搜索结果,单击"下一步"
5、选择所有资源,并单击确定完成配置
6、委托列表中出现rf_admin_trust委托则创建成功
7、在云容器引擎CCE控制台,实现授权cce_admin_trust 和 cce_cluster_agency 委托
云容器引擎CCE控制台
8、委托确认
获取OBS桶名
1、创建桶(配置桶名即可,其他默认后续可以修改)-立即创建
2、桶列表显示则表示创建成功
获取AK、SK密钥
1、我的凭证-访问密钥
2、新增访问密钥
3、下载密钥
4、保存密钥,如下获取到了access_key
5、可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK)
CCE高可用部署流程
1、点击一键部署(CCE容器高可用部署)
2、选择模板(默认配置即可)
创建方式:已有模板
模板来源:URL
模板 URL:系统默认
3、参数配置
资源栈名称:资源栈名称以中文或英文开始,支持中文、大小写英文、数字、下划线、中划线,128个字符之内。 资源栈名称不能重名。
如下内容非常重要,请仔细检查,避免出错
按模板要求对部分资源加密:取消勾选
cce_node_pool_password:CCE集群node节点密码,用于集群节点登录
pgsql_password:PostgreSQL数据库的管理员密码,取值范围
pgsql_user_password:PostgreSQL数据库的database用户密码
redis_password:redis数据库密码
css_password:CSS向量数据库的密码
obs_bucket: 按照上面创建的桶名填写
access_key:填写访问密钥ID(AK)
secret_key:填写下载的.csv文件中查看秘密访问密钥(SK)
ecs_password:部署Embedding和Reranker模型的云服务器密码
完成如上配置,下一步即可,特别注意密码的格式要求,否者在执行任务的时候会回滚报错
4、资源栈设置
IAM权限委托:选择上面已经创建的委托
回滚设置和删除保护:可以根据需要开启,默认是关闭,建议开启回滚设置,如果创建失败华为云会自动删除创建的一些列配置,如果不开启需要手动删除非常麻烦
5、配置确认
确认自己所做的配置有没有问题,如果问题创建执行任务即可,创建执行任务确认即可
6、部署-执行
7、基本信息-状态等待部署完成即可(这个过程华为云正在创建CCE容器高可用部署所需要的一些列配置,可能会给手机频繁发短信,代表创建完成)
8、等待部署完成(预计10-20分钟)
9、浏览器地址访问
Dify平台搭建AI Agent
1、通过浏览器访问链接来访问Dify - LLM 应用开发平台,设置管理员账户Dify - LLM 应用开发平台
2、通过设置的管理员账户信息来登录
3、登录后显示如下页面,代表Dify - LLM 应用开发平台已经部署成功
4、Dify - LLM 应用开发平台模型供应商配置(接入DeepSeek)
5、模型供应商中找到深度求索并且安装(预计安装5分钟左右)
6、安装成功如下所示(点击一次安装Dify - LLM 应用开发平台会进行下载安装,再点一次安装就可以在如下页面看到自己所安装的模型供应商了)
7、DeepSeek模型供应商配置(OpenAI-API-compatible供应商)
8、API Key获取:ModelArts Studio控制台,点击API KEY管理,创建自己的API KEY,标签和描述根据自己的填即可,获取到自己的API KEY注意保存(只会显示一次自己的API KEY)
9、自定义 API endpoint 地址获取:ModelArts Studio控制台,点击在线推理,选择自己的服务,商用服务或者免费服务的用法相同,点击调用说明获取自定义API endpoint 地址
10、点击OpenAI SDK复制API接口信息,这个就是自己的API endpoint 地址
11、Dify - LLM 应用开发平台填写获取到的API KEY和自定义 API endpoint 地址和模型名称
12、点击保存,页面会显示修改成功,配置成功页面如下
13、模型供应商配置成功,就可以创建一个AI Agent,创建空白应用
14、应用类型选择Agent
聊天助手:简单配置即可构建基于 LLM 的对话机器人
Agent:具备推理与自主工具调用的智能助手
文本生成应用:用于文本生成任务的 AI 助手
Chatflow:支持记忆的复杂多轮对话工作流
工作流:面向单轮自动化任务的编排工作流
15、提示词配置,可以使用AI生成配置,提供Agent的身份,点击应用即可
提示词生成器:用配置的模型来优化提示词,以获得更高的质量和更好的结构。请写出清晰详细的说明
16、调试与预览,输入article_content(文章内容)和user_specific_requests(用户个性化的要求),然后发送需求即可
17、发布智能体
18、点击探索就可以看到自己发布的智能体进行体验了
19、AI Agent部署结果展示
- article_content
华为云 Flexus X 实例性能卓越,依托擎天 QingTian 架构与瑶光云脑技术,融合大模型调度及智能加速算法,实现 1.6 倍于业界通用独享产品的算力,为复杂业务负载提供强劲动力;创新的 X-Turbo 加速技术,能让关键业务应用实现最高 6 倍性能提升,如 MySQL、Redis、Nginx 等场景下均有显著加速表现;其在成本控制上独具优势,打破传统固定配比模式,支持灵活定制算力,结合智能资源预画像及持续动态画像规格优化,综合降本达 30%;可靠性方面堪称旗舰级,具备跨 AZ 99.995% 的高可用性及 100 + 全球权威合规认证,全方位保障业务稳定运行与数据安全。
- user_specific_requests
着重强调性能优势
CCE容器高可用部署资源删除
1、资源编排服务控制台点击进入资源栈ID
2、点击删除,输入Delete就可以完全删除部署的资源,不会有任何残留,避免额外扣费
3、等待资源删除需要一定的时间,3分钟左右即可
4、OBS桶删除,如果显示不是空桶无法删除则需要先删除桶里面的文件,再删除桶
5、进入桶内删除文件,如何再删除桶
点击进入桶内
桶文件删除
桶删除
华为云Flexus云服务体验感受
个人认为,FlexusX 实例为开发者带来了极大的便利,传统的部署模式下,开发者往往要在环境配置、依赖安装、版本适配等琐碎事务上耗费大量精力,这些工作不仅繁杂,而且极易出错,稍有不慎就可能导致整个部署流程停滞,严重影响开发进度,但 FlexusX 实例简化了这个过程,预先集成了 Dify 所需的各种环境和基础组件,开箱即用。
安装部署 Dify 的 5 个核心插件为例,以往使用传统方法,可能需要逐个去研究每个插件的安装文档,手动下载依赖包,配置各种参数,这一过程可能需要数天甚至数周时间。而借助 FlexusX 实例,通过其便捷的管理界面和自动化脚本,开发者能够轻松地在短时间内完成这 5 个核心插件的部署,大大缩短了项目的前期准备周期。这意味着开发者可以将更多的时间和精力投入到真正有价值的开发工作中,比如优化 AI Agent 的功能、提升用户体验等。
而且,FlexusX 实例具备良好的稳定性和可扩展性。在开发过程中,随着项目规模的扩大和用户量的增长,对服务器资源的需求也会相应增加。FlexusX 实例能够根据实际需求,灵活地调整资源配置,无论是增加 CPU、内存还是存储容量,都能在不影响业务正常运行的情况下快速完成。这一特性为开发者提供了坚实的技术后盾,让他们无需担忧因资源不足而导致的系统崩溃或性能瓶颈问题,能够更加专注地进行业务逻辑的开发和创新。
此外,FlexusX 实例还提供了完善的监控和运维工具。开发者可以实时查看实例的运行状态,包括 CPU 使用率、内存占用、网络流量等关键指标。一旦出现异常情况,能够及时收到预警信息,并通过内置的诊断工具快速定位和解决问题。这大大降低了运维的难度和成本,对于一些缺乏专业运维团队的小型企业或个人开发者来说,尤为重要。它使得开发者在享受高效部署带来的便利的同时,也能确保系统的稳定运行,为项目的成功实施提供了有力保障。
华为云Flexus云服务基于你的的场景和负载灵活部署
- 电商直播:在云服务器上搭建电商交易平台,百万并发链接从容应对电商市场瞬息万变对的业务压力变化
- 电商店铺管理:使用云服务器登录电商后台,管理店铺;或快速搭建外贸独立站、店铺管理环境,为海内外顾客提供稳定、优质的服务
- 企业建站:提供常用建站类应用模板,快速构建满足业务诉求的网站,如企业官网、资讯、博客、论坛、电商等
- 小程序后台:适合于构建微信小程序以及公众号后台服务,降低维护成本,让用户专注于业务开发
- 游戏服务器:在云服务器中部署游戏服务端,满足多人联机游戏诉求,灵活选配,快速部署
- 开发测试:适合云端构建即开即用的远程开发、测试项目,运行定时任务、自动任务等
- 云端学习:帮助学生、开发者在云端做一些实验、论文等
- 搭建博客/论坛:方便个人开发者搭建博客、论坛、个人设计作品、简历等,性价比高
彩蛋
博主在CCE容器高可用部署的时候遇到了一个小问题,当时还不觉得是华为云CCE容器高可用部署系统逻辑问题,只是觉得不太合理
- 问题复现
CCE 容器高可用部署过程中,当用户点击部署后,华为云会按顺序创建相关服务。若此前的配置存在问题,如密码不符合要求、委托未创建、OBS 桶名不存在或未创建、AK/SK 密钥错误、权限不足,或者某个服务在一键部署时未能创建成功等,都将导致整个服务部署不成功引发后续问题。
由于 CCE 容器高可用部署是按需收费,在部署流程中,若 Nat 网关创建成功,但因前面环节的错误致使后续服务无法成功创建,进而导致整个服务部署失败,即便 Nat 网关仅被使用了极短时间,仍会按照按天计费的规则向用户收费,费用为 12 元 / 天。
我在部署 CCE 时,就因上述配置问题,致使 Nat 网关虽创建成功,但整个服务却未能成功部署。我不得不删除 CCE 并重新创建,在这过程中,我重复操作了 7 - 8 次,尽管每次 Nat 网关的使用时间可能仅有1~2分钟,却依然累计被收取了每次12元的 Nat 网关费用,而我的 CCE 始终因前述原因未能成功部署。因此,我向华为提交了工单,并与他们的后端工程师进行了沟通。
- 问题解决
经过和华为工程师会议沟通,他们通过内部商讨,针对我反馈的 CCE 容器高可用部署中 Nat 网关收费不合理的问题,对 CCE 容器高可用部署中 Nat 网关的收费逻辑进行了调整。新的收费逻辑规定:若 CCE 部署未能成功,在删除部署时,相应产生的费用,包括 Nat 网关费用及其他相关费用,都会退还至用户账户。
不得不说华为工程师团队的处理速度还是非常迅速,我在当天中午提交问题反馈,下午他们便组织会议进行商讨,到了晚上就完成了收费逻辑的调整。不仅如此,华为工程师还全程协助我,走完了 CCE 部署的全流程,确保部署顺利完成。整个过程高效且贴心,为华为工程师团队的专业与负责点赞!
总结
我通过CCE容器高可用部署搭建Dify-LLM平台部署AI Agent,整个流程不是很难,相对于传统部署方式已经简化了许多流程,用户可以在搭建好的 Dify 平台上,便捷地利用 AI Agent 实现多种功能,借助 AI Agent 生成富有创意的文案精美图片、准确地响应用户咨询、定制专属的学习计划和资料、根据自身的业务特点和需求对 AI Agent 进行灵活定制和扩展,充分发挥其在不同行业和场景中的价值。
这种基于 CCE 容器的创新部署方式,不仅显著降低了技术门槛,使得开发者能够将更多的精力和时间投入到功能创新与业务拓展上,加速了 AI 应用的开发进程,同时也为企业在人工智能领域的发展提供了强有力的技术支撑。