大模型的部署搭建

真的好久没有进行博客的写作了,原因,最近的自己生活有点小波动,

最近想想还是有空写一篇文章,这篇文章的描述是学习的当下热门AI

本期,介绍的也是AI相关的LLM(大语言模型)

这个好多人应该都是模糊的,包括我一开始没有学习,就感觉牛逼的不行,今天我们亲自部署实践下

第一步:Ollama安装

首先我们需要下载一个管理大模型的软件Ollama

Ollama下载的地址:有的小伙伴下载不下来,可以私我,给你发离线exe

接下来,我们静等安装成功就可以了

检测是否安装成功: 在浏览器输入:localhost:11434 如果出现如下图所示说明已经成功Ollama is running

2.打开命令行终端

win+r键弹出窗口,输入cmd,打开cmd窗口,输入命令ollama,可以看到所有的命令

接下来,我们下载大模型

输入命令:ollama run llama3.2 我们下载的llama3.2的模型

下载需要一些时间,我们静静的等待就行,直到出现下图所示,表示安装成功,接下来,我们进行第二步:

第二步: 安装和配置UI界面

目的: 为了和本地的模型进行交互,我们也不能一直在黑窗口里面干活啊!哈哈哈!~

安装可视化界面的软件: MaxKB: 是基于大语言模型和RAG的知识库问答系统

当中的RAG我解释下:

• 就是Retrieval检索+ Argument增强+Generation生成这三个词组成

在安装之前,我们本地要先安装dockerDesktop,安装好deskstop,我们要打开Hyper

然后我们打开cmd窗口,输入如下命令:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
##解释说明
docker run：启动一个新容器
-d：以后台(守护进程)模式运行容器
--name=maxkb：给容器命名为"maxkb"
-p 8080:8080：将主机的8080端口映射到容器的8080端口
-v ~/.maxkb:/var/lib/postgresql/data：将主机的~/.maxkb目录挂载到容器的/var/lib/postgresql/data目录
1panel/maxkb：使用的Docker镜像名称

等待下载

第二种方法:直接一键安装

# Linux 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb# Windows 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

下载好后:

我们在浏览器输入localhost:8080,输入用户密码: admin(MaxKB@123..)

登录后,我们进入模型设置选项

详细信息

选择好之后,我们,就看到如下图所示的ollama的模型

选择应用:

到这就是可以了,你自己本地的模型就搭建好了,可以自己去用了

比如我们输入个简单的hello

OK ,这就可以了,不过docker那块要好好安装下

下期我来写一篇自己搭建一个AI视频生成器的文章,让大家对网上博主弄得收费网站啥的,就是套壳儿!!!