目录

一、本地部署Ollama

1.1 进入官网复安装命令

1.2 执行安装命令

 1.3 验证是否安装成功

二、启动Ollama服务

三、运行模型

方法一：拉取模型镜像

方法二：拉取本地模型

四、使用Open WebUI 部署模型

4.1 创建虚拟环境

4.2 安装依赖

4.3 运行 open-webui

4.4 启动浏览器

---

---

前言

安装前说明

 本教程主要演示的是Linux环境部署

---

一、本地部署Ollama

1.1 进入官网复制安装命令

Ollama官网：Ollama

说明：个人电脑显存如果低于16GB不推荐安装，因为跑不动模型，可以去租服务器。

以下是部署在服务器Linux环境下部署的。

 

▲因为部署的环境是Linux，这里选择Linux的安装命令；

▲复制命令，在服务器的数据盘中安装

curl -fsSL https://ollama.com/install.sh | sh

---

1.2 执行安装命令

在服务器的数据盘中运行

说明：不同服务器的数据盘会有所不同，这里一定得选好适合自己的。 

---

 1.3 验证是否安装成功

#查看Ollama版本
ollama --version

 显示样例： 

---

二、启动Ollama服务

#启动Ollama服务
ollama serve

显示样例： 

说明：ollama运行后会在本地端口暴露一个 openai API 服务，我们后面使用 open-webui 来连接就可以了。

---

三、运行模型

3.1 方法一：拉取ollama模型镜像

#拉取在线模型deepseek-r1:1.5b
ollama run deepseek-r1:1.5b

拉取成功后可以直接和大模型进行对话。

  

（可选）选择模型：这里选择deepseek-r1:1.5b

要下载那个模型，点进去就有它的安装命令； 

---

3.2  方法二：拉取本地模型

前提要求：本地需要要一个gguf格式的模型，可以去魔塔社区或Huggingface上下载；

这里以魔塔社区为例：

可以搜索gguf后缀的模型下载现成的

3.2.1 选择模型

这里我选择一个已经训练后，转成gguf个格式的模型【Qwen2.5-7B-Instruct-f16.gguf】。

---

3.2.2 创建ModelFile

创建一个 Ollama 模型的 meta 文件（ModelFile），目的是让 Ollama 能加载你本地的 GGUF 文件。

1、选择创建ModelFile的路径

#进入模型路径
cd /mnt/workspace/model/qwen

▲/mnt/workspace/model/qwen：表示我存放模型文件的路径，这里选择自己存放模型的路径即可。

2、创建一个名为 Modelfile 的文件

nano Modelfile

或者用 vi：

vi Modelfile

按“i”写入以下内容。复制模型路径，写入以下内容，创建名为“ModelFile”的meta文件，内容如下：

#GGUF文件路径
FROM /mnt/workspace/model/qwen/Qwen2.5-7B-Instruct-q8_0.gguf

说明：/mnt/workspace/model/qwen/Qwen2.5-7B-Instruct-q8_0.gguf：表示转换为gguf格式的模型路径。

【说明】

成功写入后，会在当前目录下创建一个Modelfile的文件

---

3.2.3 创建自定义模型 

使用ollama create命令创建自定义模型

ollama create qwen2.5-7b-f16 -f ./Modelfile

▲qwen2.5-7b-f16：表示注册进Ollama的自定义模型名称；

▲./Modelfile：表示上一步创建的Modelfile文件路径；

这会把模型注册进 Ollama 的本地模型库，名字叫 qwen2.5-7b-f16

---

3.2.4 查看是否注册成功

ollama list

---

四、使用Open WebUI 部署模型

open webui适合小型快速的应用做部署，但在现阶段这个框架是存在一定缺陷的：不适合微调之后的模型，在【三、运行模型】这一步介绍了2种方法，一种是直接从Ollama中拉取模型，一种则是训练后的gguf格式的模型文件。经过测试，直接在Ollama上拉取的模型可以正常去做一些回答，而微调后的模型拉取到Ollama上，会不停地输出内容

4.1 创建虚拟环境

#创建虚拟环境
conda create -n ollama-open-webui python=3.11#激活虚拟环境
conda create -n ollama-open-webui

▲进入对话页面

▲进行对话

切换模型，可以发现注册进ollama的模型都在这里，可以根据需求选择增加想要的模型。