大模型_Ubuntu24.04安装RagFlow_使用hyper-v虚拟机_超级详细--人工智能工作笔记0251

    因为之前使用dify搭建了一个知识库,但是dify的效果,尤其是在文档解析方面是非常不友好的,虽然测试了,纳米的效果非常好,但是纳米只能容纳2000个文件,如果

你的知识库中有代码,sql文件等等,如果太多,就不行了。而如果分开智能体的话,那么就非常麻烦,所以自己搭建本地的,知识库效果会好一些,但是如果你没有

671b参数的大模型,deepseek的话,其实模型效果就又差了。

    首先去搭建大模型用的Ubuntu24.04 hyper-v虚拟机,这个之前章节已经有了。过程一样不重复截图,然后

设置虚拟机可以被外网访问。这里看一下如何设置:之前也说过,但是这里再说一下,其实只设置一个外部使用网络就可以了。

就可以实现,本机,访问虚拟机,虚拟机也可以访问本机。

首先用hyper-v管理器,创建一个外部网络可以看到,点击虚拟机设置,然后

创建网络适配器,然后,点击外部,然后设置虚拟机适配器,作成

    

然后填写名字,然后选择本地网卡,然后点击ok

就像上面一样填写,演示了一下上面,然后点击ok就可以了

可以看到就多出来一个网卡,名字是刚刚创建的外部网络extenral

然后去看看他的ip地址,是172.19.129.133

其实这个就是本机的ip,但是dns没有带过来,我给填写上了。

然后这个时候去看,本机的地址,也是原来的172.19.129.133

没有变,感觉就是,本机的网卡,被使用创建了这个虚拟的外部网卡,external然后

本机网卡就没有用了。

然后可以看到本机网卡的ipv4就被自动勾选掉了,然后这个时候

经过测试,本机172.19.129.133可以ping通虚拟机 172.19.129.135

注意,配置以后,需要手动在虚拟机配置一下ip地址:

可以看到点开ipv4配置就可以了。

然后去设置一下root的密码

sudo passwd root 

然后切换到root用户

# 检查的值vm.max_map_count
sysctl vm.max_map_count# 重置vm.max_map_count设置为大于等于262144的值 (如果不是);本机(八张A100的8U机架人工智能一体机)内存2TB , 所以设置100万负载
sysctl -w vm.max_map_count=1048576在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍:vm.max_map_count=1048576sysctl -p# 验证限制是否生效
cat /proc/sys/vm/max_map_count

然后去设置一下这个映射的值是1048576,我查看了一下默认就是这个,所以没有设置,如果不是,按照上面的方式设置。

apt-get install open-vm-tool

apt-get install open-vm-tools-desktop

sudo apt update

然后就可以继续安装,首先安装docker。

可以看到首先执行

sudo apt install apt-transport-https curl

可以看到报了个错,其实意思就是

我们这边有个认证,浏览器访问上面的那个114.登录用户名密码以后,才允许联网。

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

执行这个添加密钥以后

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

然后再来执行这个,将 Docker 的官方仓库添加到 Ubuntu 24.04 LTS 的软件源列表

然后再执行一下:
sudo apt update

这些步骤在之前的博文中有了,为了参考的时候方便这里仅仅贴一下代码

然后:sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

执行这个来安装docker 会花一些时间大小大了一点。

sudo apt install git docker.io docker-compose

再去安装git

sudo systemctl is-active docker

安装了docker以后,然后再来执行,上面这个命令,查看运行状态

可以看到没问题了。

然后运行

apt install vim

sudo vim /etc/docker/daemon.json  执行这个命令

去添加几个国内的镜像源

{"registry-mirrors": ["https://docker.m.daocloud.io","https://mirror.baiduce.com","http://hub-mirror.c.163.com","https://docker.nju.edu.cn","https://docker.1panelproxy.com","https://hub.rat.dev","https://089rhvq.mirror.aliyuncs.com","https://ustc-edu-cn.mirror.aliyuncs.com/","https://docker.mirrors.ustc.edu.cn","https://ccr.ccs.tencentyun.com/","https://dockerproxy.com","https://docker.registry.cyou","https://docker-cf.registry.cyou","https://dockercf.jsdelivr.fyi","https://docker.jsdelivr.fyi","https://dockertest.jsdelivr.fyi","https://mirror.aliyuncs.com","https://dockerproxy.com","https://docker.mirrors.sjtug.sjtu.edu.cn","https://mirror.iscas.ac.cn","https://docker.rainbond.cc"]
}

添加了以后按esc按键 ,然后点击:wq

保存退出

sudo systemctl daemon-reload
sudo systemctl restart docker

然后重新加载一下docker

然后执行 sudo docker info 可以看到apt源已经都加上了。

可以看到首先执行

systemctl start docker

systemctl enable docker

systemctl status docker

sudo docker run  hello-world 可以看到 运行结果 执行一个案例试了试这个是

没问题了

https://ragflow.io/docs/dev/

首先执行:

su root

sysctl -w vm.max_map_count=262144

然后再去克隆代码:

git clone https://github.com/infiniflow/ragflow.git

尝试了好多次,在白天上午的时候,速度快可以成功。

$ git clone https://github.com/infiniflow/ragflow.git
$ cd ragflow/docker
$ git checkout -f v0.19.0

可以看到按照顺序执行。

如果需要修改端口的话,修改这个文件。

# Use CPU for embedding and DeepDoc tasks:
$ docker compose -f docker-compose.yml up -d# To use GPU to accelerate embedding and DeepDoc tasks:
# docker compose -f docker-compose-gpu.yml up -d

我们这个是CPU所以这里就

执行:

去启动就可以了。

启动以后去访问就可以了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/pingmian/84818.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode - LCR 173. 点名

题目 LCR 173. 点名 - 力扣(LeetCode) 思路 首先对数组进行排序,使学号按顺序排列 在排序后的数组中,如果没有缺失的学号,那么每个元素应该等于其索引值 使用二分查找找到第一个不等于其索引的元素位置&#xff1…

VSCode如何优雅的debug python文件,包括外部命令uv run main.py等等

debug程序的方式有很多种。每一种方式都各有缺点:有的方式虽然优雅,但是局限性很大;有的方式麻烦,但是局限性小。 常规方式: 优点:然后可以观察所有线程。一劳永逸。缺点:就是写参数很麻烦,但是你可以让chatgpt等大模型帮你写。最最最优雅的方式: 优点:就是需要在代码…

[调试技巧]VS Code如何在代理模式下使用 MCP 工具?

在开发环境调试MCP,通过agent模式与大模型对话,并不能保证每次均正确调用tool。在阅读官方文档之后,得知以下小技巧。 添加 MCP 服务器后,您可以在代理模式下使用它提供的工具。要在代理模式下使用 MCP 工具 打开聊天视图 (CtrlAl…

京东零售基于Flink的推荐系统智能数据体系 |Flink Forward Asia 峰会实录分享

京东推荐系统的数据体系极其复杂,从召回、模型到策略和效果评估,每个环节都需要强大的海量数据处理能力支撑。然而,在实际运行中,整个数据链路面临着诸多挑战:如实时与离线数据的埋点口径不一致、数仓模型存在偏差、计…

[学习] 牛顿迭代法:从数学原理到实战

牛顿迭代法:从数学原理到实战 ——高效求解方程根的数值方法 文章目录 牛顿迭代法:从数学原理到实战一、引言:为什么需要牛顿迭代法?二、数学原理:几何直观与公式推导1. **核心思想**2. **几何解释**3. **收敛性分析*…

使用 Git 将本地仓库上传到 GitHub 仓库的完整指南

使用 Git 将本地仓库上传到 GitHub 仓库的完整指南 一、引言 在现代软件开发中,版本控制工具 Git 已成为不可或缺的一部分。GitHub 作为全球最大的代码托管平台,为开发者提供了代码协作、项目管理和开源贡献的便捷方式。本文将详细介绍如何通过 Git 将本…

数据结构 - 栈与队列

栈:限定仅在表尾进行插入或删除操作的线性表。 表尾端有特殊含义,称为栈顶(top)。 相应的,表头端称为栈底(buttom)。不含元素的空表成为空栈。 栈又称为后进先出的线性表(Last In…

jojojojojo

《JOJO的奇妙冒险》是由日本漫画家荒木飞吕彦所著漫画。漫画于1987年至2004年在集英社的少年漫画杂志少年JUMP上连载(1987年12号刊-2004年47号刊),2005年后在集英社青年漫画杂志Ultra Jumphttps://baike.baidu.com/item/Ultra%20Jump/2222322…

统计学核心概念与现实应用精解(偏机器学习)

统计学听起来似乎很复杂,但其实它的核心就是两个概念:概率分布和期望。这两个概念就像是我们日常生活中的决策助手。 概率分布描述了随机事件各种可能结果出现的可能性大小。比如,掷骰子时每个点数出现的概率,这就是一个典型的概…

go-carbon v2.6.8 发布,轻量级、语义化、对开发者友好的 golang 时间处理库

carbon 是一个轻量级、语义化、对开发者友好的 Golang 时间处理库,提供了对时间穿越、时间差值、时间极值、时间判断、星座、星座、农历、儒略日 / 简化儒略日、波斯历 / 伊朗历的支持。 carbon 目前已捐赠给 dromara 开源组织,已被 awesome-go 收录&am…

228永磁同步电机无速度算法--基于双重锁相环的滑模观测器

一、原理介绍 在传统的正交锁相环的基础上,利用前述滤波器、ZOH、代数环等非理想因素对电流信号进行延迟重构,进而得到一个与实际电流信号存在相位偏差的重构信号,且该相位偏差等同于初步估计位置信号与实际位置信号之间的相位偏差。将该重构…

零基础入门 线性代数

线性代数是一种代数结构,通俗来讲,向量空间是这个结构的基石,我们要在向量空间中研究向量与向量的关系 一 对象:向量 各位都有对象嘛?如果没有对象,想不想知道你们的天命之人是谁捏?如果有对象…

IO之cout格式控制

目录 简单了解cout是什么? 什么是字节流 默认格式控制 修改计数系统 调整字符宽度 填充字符 设置浮点数显示精度 打印末尾的0和小数点 其他格式控制符 right--->设置为右对齐,永久生效 left--->设置为左对齐,永久生效 fixed--…

探索铸铁试验平台在制造行业的卓越价值

铸铁试验平台在制造行业中具有重要的价值和作用。以下是铸铁试验平台在制造行业中的卓越价值: 提高产品质量:铸铁试验平台可以模拟各种生产条件和环境,并对铸铁产品进行精确的测试和评估。通过实验平台的测试,可以发现产品在不同条…

gpt3大模型蒸馏后效果会变差么

模型蒸馏(Model Distillation)是将复杂的 “教师模型”(如 GPT-3)的知识迁移到更轻量级的 “学生模型” 上的技术。蒸馏后的模型效果是否会变差,取决于多种因素,不能一概而论。以下是详细分析: …

SQL进阶之旅 Day 30:SQL性能调优实战案例

【SQL进阶之旅 Day 30】SQL性能调优实战案例 文章简述: 在数据库系统中,SQL查询的性能直接影响到整个应用的响应速度和用户体验。本文作为“SQL进阶之旅”系列的第30天,聚焦于SQL性能调优实战案例,通过多个真实业务场景中的SQL优…

【61 Pandas+Pyecharts | 基于Apriori算法及帕累托算法的超市销售数据分析可视化】

文章目录 🏳️‍🌈 1. 导入模块🏳️‍🌈 2. Pandas数据处理2.1 读取数据2.2 数据信息2.3 数据去重2.4 订单日期处理提取年份2.5 产品名称处理 🏳️‍🌈 3. Pyecharts数据可视化3.1 每年销售额和利润分布3.2…

每日算法刷题Day31 6.14:leetcode二分答案2道题,结束二分答案,开始枚举技巧,用时1h10min

7. 1439.有序矩阵中的第K个最小数组和(困难,学习转化为373) 1439. 有序矩阵中的第 k 个最小数组和 - 力扣(LeetCode) 思想 1.给你一个 m * n 的矩阵 mat,以及一个整数 k ,矩阵中的每一行都以非递减的顺序排列。 你可以从每一行…

springMVC-13 文件下载及上传

文件下载-ResponseEntity<T> 说明 在SpringMVC中&#xff0c;通过返回ResponseEntity<T>的类型&#xff0c;可以实现文件下载的功能 核心代码&#xff1a;就是设置HttpHeader 文件下载响应头的设置 content-type 指示响应内容的格式 content…

数据库学习笔记(十六)--控住流程与游标

前言&#xff1a; 学习和使用数据库可以说是程序员必须具备能力&#xff0c;这里将更新关于MYSQL的使用讲解&#xff0c;大概应该会更新30篇&#xff0c;涵盖入门、进阶、高级(一些原理分析);这一篇和上一篇差不多&#xff0c;当做扩展&#xff0c;用到的时候再查即可(毕竟数据…