使用CentOS部署本地DeekSeek

一、查看服务器的操作系统版本

cat /etc/centos-release

二、下载并安装ollama

1、ollama下载地址：

Releases · ollama/ollama · GitHubGet up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large language models. - Releases · ollama/ollamahttps://github.com/ollama/ollama/releases

        (1)、下载ollama

        

        (2)测试采用ollama0.5.5可以正常使用

        

        (3)点击v0.5.5，下拉找到安装包进行下载：

        

        (4)下载好后，上传ollama-linux-amd64.tgz到/home目录下

        

     （5）在/home目录下创建ollama文件夹：        

mkdir ollama

2、手动安装ollama        

sudo tar -C /home/ollama -xzf ollama-linux-amd64.tgz

三、配置ollama

1、添加环境变量

        （1）为当前用户添加环境变量

echo 'export PATH=$PATH:/home/ollama/bin' >> ~/.bashrcsource ~/.bashrc

        （2）或者为所有用户添加环境变量

sudo echo 'export PATH=$PATH:/home/ollama/bin' >> /etc/profile
sudo source /etc/profile

2、启动ollama

ollama serve

3、查看ollama版本

ollama -v

                

4、设置ollama为后台服务运行模式

        （1）为 Ollama 创建用户和组

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

        （2）创建服务文件 

vi /etc/systemd/system/ollama.service

        （3）使用vi编辑器编辑服务文件，添加以下内容

 [Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/home/ollama/bin/ollama serve  #修改路径为ollama安装目录
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"[Install]
WantedBy=default.target

        （4）重启ollama服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

四、更改模型下载路径

默认情况下ollama模型的存储目录如下：
/usr/share/ollama/.ollama/models ，此目录空间不足无法存储deepseek模型，需要修改默认的下载路径。

1、先创建一个存储模型文件的文件夹，赋予相关权限：

sudo mkdir /home/dsmodels
sudo chown -R root:root /home/dsmodels
sudo chmod -R 777 /home/dsmodels

2、用vi编译器打开ollama.service，在[Service]下面加入一行新的Environment

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/home/ollama/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_MODELS=/home/dsmodels"  #新的模型下载路径

3、执行以下命令刷新配置：

sudo systemctl daemon-reload

4、重启ollama服务

sudo systemctl restart ollama.service

5、查看一下重启后的ollama运行状态

sudo systemctl status ollama

6、检查路径是否设置成功：

ollama list

因为是修改了模型的下载路径，这个路径下面环没有任何模型，所以只有标题行，没内容。这样就表示成功了。

五、拉取deepseek模型

1、拉取deepseek大模型文件

ollama pull deepseek-r1:7b

2、启动deepseek大模型

ollama run deepseek-r1:7b

3、再次查看ollama装载模型情况

[root@localhost ollama]# ollama list
NAME              ID              SIZE      MODIFIED    
deepseek-r1:7b    0a8c26691023    4.7 GB    3 hours ago

六、开放ollama服务远程访问，实现Chatbox图形化界面访问

1.使用 netstat 或 ss 命令在宿主机上检查 11434 端口的状态

[root@localhost ollama]# netstat -tulnp | grep 11434   
tcp6       0      0 :::11434                :::*                    LISTEN      21328/ollama

根据提供netstat的输出，ollama服务正在监听 127.0.0.1:11434 （即 localhost 的 11434 端口），而不是监听所有网络接口（ 0.0.0.0:* 表示监听所有接口）。这就是为什么您能够通过 localhost 访问服务，但是无法通过宿主机的 IP 地址 192.168.120.223 访问的原因。

2、修改服务绑定地址：

如果 ollama 服务允许通过配置文件设置监听地址，请将ollama配置文件中的监听地址从 127.0.0.1 更改为 0.0.0.0。

[root@localhost ollama]# vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/home/ollama/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_MODELS=/home/dsmodels" 
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*" 
[Install]
WantedBy=default.target

3.重启 ollama 服务

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

4、检查环境变量是否正确设置

sudo systemctl show --property=Environment ollama.service

5、开放防火墙的11434端口：

如果你需要开放特定的端口，可以使用 --add-port 选项。例如，开放端口 11434：

sudo firewall-cmd --permanent --zone=public --add-port=11434/tcp

6、重新加载 firewalld 配置

每次修改防火墙规则后，需要重新加载 firewalld 配置

sudo firewall-cmd --reload

7、成功：

 

8、在Chatbox中设置API域名并选择模型

9、在Chatbox中使用本地部署的deepseek模型

七、安装open-webui 界面化访问

1、安装docker

yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum install -y docker-cesystemctl start docker && systemctl enable docker

2、运行open-webui容器

docker run -d  -p 8082:8080  -e OLLAMA_BASE_URL=http://10.10.6.3:11434 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3.、浏览器访问：

http://10.10.6.3:8082/auth

按提示创建管理员账号，创建完成之后需要多等待一会，弹出登陆页面,进行登录

八、部署本地deepseek大模型知识库

1、使用ollama下载向量化工具nomic-embed-text

ollama pull nomic-embed-text

2、打开open-webui左下角的管理员面板，进入“设置”栏找到“模型”选项，并点击右上角的设置图标进行模型设置，如图所示：

3、依次把deepseek和刚下载的nomicembed-text排序在前，并选择默认模型为deepseek：
embed-text，点击保存：

4、在管理员面板找到“文档”选项，将“语义向量模型引擎”设置为Ollama，并且在“语义向量模型”手动输入“nomic-embed-text:latest”，设置完点击保存，如图所示：

5、为了确保open-webui识别到Ollama，进一步找到“外部连接”选项，只勾选Ollama API而不勾选OpenAI API

6、回到工作空间的知识库，上传知识库文档，进行测试

7、测试

九、 部署过程中可能会遇到的问题及解决方案

1、安装ollama

（1）使用官方ollama安装脚本会遇到

ollama: /lib64/libm.so.6: version `GLIBC_2.27' not found (required by ollama)
ollama: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.25' not found (required by ollama)
ollama: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by ollama)
ollama: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found (required by ollama)
ollama: /lib64/libstdc++.so.6: version `CXXABI_1.3.11' not found (required by ollama)
ollama: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found (required by ollama)
ollama: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.22' not found (required by ollama)

（2）原因：

  • 出现这个错误是因为 Ollama 程序依赖于较新版本的 GCC 和 Glibc 库，但系统中安装的库版本过低，无法满足其运行要求。
  • CentOS 7/RHEL 7：默认 Glibc 为 2.17，GCC 为 4.8.5，远低于 Ollama 要求的 2.27+。

（3）解决方案：

采用手动安装更低版本的ollama

  • Ollama下载地址： https://github.com/ollama/ollama/releases

(4)测试采用ollama0.5.5可以正常使用

（5）点击v0.5.5，下拉找到安装包进行下载：

（6）下载好后，上传服务器，进行手动安装

（7）不采用直接升级Glibc，因为Glibc 是 Linux 系统的核心组件，直接升级可能导致：

  • 系统命令（如ls、bash）无法运行，因为它们依赖旧版本的 Glibc。
  • 软件包管理器（如yum、apt）崩溃，导致系统无法修复。
  • 因此，升级 Glibc 需要谨慎操作，通常需要通过官方渠道或特定工具（如scl、conda）进行。

2、 浏览器访问Open-WebUI找不到deepseek大模型

解决方案：

（1）编辑ollama配置文件:

vi /etc/systemd/system/ollama.service

（2）在配置文件中添加：

Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_ORIGINS=*"

（3）重启ollama服务

sudo systemctl daemon-reloadsudo systemctl restart ollama.service

（4）检查环境变量是否正确设置.

sudo systemctl show --property=Environment ollama.serviceEnvironment=PATH=$PATH OLLAMA_MODELS=/home/dsmodels OLLAMA_HOST=0.0.0.0:11434 OLLAMA_ORIGINS=*

3、open-webui知识库上传报错

解决方案：

（1）使用ollama下载安装向量化工具

ollama pull nomic-embed-text

（2）打开open-webui左下角的管理员面板，进入“设置”栏找到“模型”选项，并点击右上角的设置图标进行模型设置，如图所示：

（3）依次把deepseek和刚下载的nomicembed-text排序在前，并选择默认模型为deepseek：
embed-text，点击保存：

（4）在管理员面板找到“文档”选项，将“语义向量模型引擎”设置为Ollama，并且在“语义向量模型”手动输入“nomic-embed-text:latest”，设置完点击保存，如图所示：

（5）为了确保open-webui识别到Ollama，进一步找到“外部连接”选项，只勾选Ollama API而不勾选OpenAI API

（6）回到工作空间的知识库，上传知识库文档，进行测试

4、CUDA 版本不兼容

（1）问题表现：

在安装 PyTorch 或者运行 DeepSeek 时，系统提示 CUDA 版本与 GPU 驱动不匹配。

（2）解决办法：

首先，查看 GPU 驱动支持的 CUDA 版本：

nvidia-smi

接着，按照 CUDA 官网的指引，安装对应的 CUDA Toolkit：

# 以CUDA 11.8为例wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.runsudo sh cuda_11.8.0_520.61.05_linux.run

最后，更新环境变量：

echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrcecho 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrcsource ~/.bashrc

5、PyTorch 安装失败

（1）问题表现

在 pip 安装 PyTorch 的过程中出现网络错误，或者安装后导入时提示找不到模块。

（2）解决办法：

使用清华源加速下载，并且根据 CUDA 版本选择合适的 PyTorch 版本：

​
# CUDA 11.8对应的PyTorch安装命令pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i Simple Index​

6、文件系统限制

（1）问题表现

在下载模型时，系统提示 “无法创建临时文件”。

（2）解决办法


   修改文件系统的最大文件数限制：

echo 'fs.file-max = 1048576' | sudo tee -a /etc/sysctl.confecho '* soft nofile 65536' | sudo tee -a /etc/security/limits.confecho '* hard nofile 65536' | sudo tee -a /etc/security/limits.confsudo sysctl -p

7、权限问题

（1）问题表现

无法读取模型文件，或者在保存检查点时提示权限被拒绝。

（2）解决办法
  

修改模型文件的权限：

sudo chmod -R 755 /path/to/model

8、CUDA 内存溢出

（1）问题表现

模型运行时提示 “CUDA out of memory”。

（2）解决办法：
  

减少批量大小（batch size），或者启用梯度检查点（gradient checkpointing）：

# 在代码中启用梯度检查点model.gradient_checkpointing_enable()

9、网络连接的问题

（1）问题表现

在下载模型时出现连接超时的情况。

（2）解决办法：

   使用代理或者手动下载模型：

# 使用代理export HTTP_PROXY=http://proxy.example.com:8080export HTTPS_PROXY=http://proxy.example.com:8080# 或者手动下载模型git clone https://huggingface.co/DeepSeek-RL/DeepSeek-7B-Chat.git​

10、SSL 证书验证失败

（1）问题表现

在下载过程中提示 “SSL: CERTIFICATE_VERIFY_FAILED”。

（2）解决办法：
  

临时禁用 SSL 验证（不推荐在生产环境使用）：

pip install --trusted-host pypi.python.org package_name

11、权限与安全策略

       （1）问题表现

  • 服务无法绑定80/443端口
  • 文件访问被SELinux阻止

        （2）解决方案

1、解决端口权限问题：sudo setcap 'cap_net_bind_service=+ep' /usr/bin/python3.8  # 允许非root绑定低端口或使用反向代理（Nginx/Apache）转发请求。2、调整SELinux策略：sudo setenforce 0  # 临时关闭
sudo semanage port -a -t http_port_t -p tcp 8080  # 开放自定义端口
永久生效需修改 /etc/selinux/config

12、网络与防火墙

（1）问题表现

  • 外部无法访问服务端口
  • 模型下载失败（境外源速度慢）

（2）解决方案

（1）配置防火墙：sudo firewall-cmd --permanent --add-port=8080/tcpsudo firewall-cmd --reload（2）使用国内镜像加速：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt（3）或配置全局镜像：mkdir ~/.pip && echo -e "[global]\nindex-url = https://pypi.tuna.tsinghua.edu.cn/simple" > ~/.pip/pip.conf

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/pingmian/82256.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Matplotlib 后端与事件循环

Matplotlib 后端与事件循环

前言：很多时候，matplot跑出来的是这种静态非交互的，如果想要可以交互，就得设定一个后端，例如 matplotlib.use(TkAgg)Matplotlib 后端 (Backend) Matplotlib 的设计理念是能够以多种方式输出图形，无论是显…
阅读更多...
【JAVA】中文我该怎么排序？

【JAVA】中文我该怎么排序？

📘 Java 中文排序教学文档（基于 Collator） 🧠 目录 概述Java 中字符串排序的默认行为为什么需要 Collator使用 Collator 进行中文排序升序 vs 降序排序自定义对象字段排序多字段排序示例总结对比表附录：完整代码示例 …
阅读更多...
k8s-NetworkPolicy

k8s-NetworkPolicy

在 Kubernetes 中，NetworkPolicy 是一种资源对象，用于定义 Pod 之间的网络通信策略。它允许你控制哪些 Pod 可以相互通信，以及如何通信。通过使用 NetworkPolicy，可以实现更细粒度的网络访问控制，增强集群的安全性。 1…
阅读更多...
LAN（局域网）和WAN（广域网）

LAN（局域网）和WAN（广域网）

你的问题非常清晰！我来用一个直观的比喻实际拓扑图帮你彻底理解LAN（局域网）和WAN（广域网）如何协同工作，以及路由器在其中的位置。你可以把整个网络想象成一座城市： 1. 比喻：城市交通…
阅读更多...
idea 插件开发自动发布到 nexus 私服中（脚本实例）

idea 插件开发自动发布到 nexus 私服中（脚本实例）

如下脚本内容为 idea 插件开发项目中的 build.gradle.kts 文件示例，其中自定了 updatePluginsXmlToNexus 和 uploadPluginToNexus 两个任务，一个用来自动修改 nexus 中的配置文件，一个用来自动将当前插件打包后的 zip 文件上传到 nexus 私服中…
阅读更多...
SpringBoot-11-基于注解和XML方式的SpringBoot应用场景对比

SpringBoot-11-基于注解和XML方式的SpringBoot应用场景对比

文章目录 1 基于注解的方式1.1 @Mapper1.2 @select1.3 @insert1.4 @update1.5 @delete2 基于XML的方式2.1 namespace2.2 resultMap2.3 select2.4 insert2.5 update2.6 delete3 service和controller3.1 service3.2 controller4 注解和xml的选择如果SQL简单且项目规模较小，推荐使…
阅读更多...
C++复习核心精华

C++复习核心精华

一、内存管理与智能指针 内存管理是C区别于其他高级语言的关键特性，掌握好它就掌握了C的灵魂。 1. 原始指针与内存泄漏 先来看看传统C的内存管理方式： void oldWay() {int* p new int(42); // 分配内存// 如果这里发生异常或提前return&#xff0c…
阅读更多...
期货反向跟单软件—提高盘手杠杆的方式及剖析

期货反向跟单软件—提高盘手杠杆的方式及剖析

在期货反向跟单领域，期货跟单软件对盘手杠杆的调节，是整个策略运作的核心环节之一。其背后蕴含着科学的金融逻辑。​ 期货跟单软件提高盘手杠杆主要通过两种方式。第一种是降低期货保证金。在盘手资金总量固定的情况下，保证金降低&#xff0…
阅读更多...
【计算机网络】基于UDP进行socket编程——实现服务端与客户端业务

【计算机网络】基于UDP进行socket编程——实现服务端与客户端业务

🔥个人主页🔥：孤寂大仙V 🌈收录专栏🌈：Linux 🌹往期回顾🌹： 【Linux笔记】——网络基础 🔖流水不争，争的是滔滔不息 一、UDPsocket编程UDPsocket编…
阅读更多...
ae卡通打架烟雾特效

ae卡通打架烟雾特效

1、创建一个合成（合成1），右键创建形状图层，使用椭圆工具，长按shift键拖动鼠标左键画出圆形，同时按ctrlalthome三个键使圆形中心锚点对齐圆心，关闭描边，圆形图层填充白色。 2、选择形…
阅读更多...
UE5 Va Res发送请求、处理请求、json使用

UE5 Va Res发送请求、处理请求、json使用

文章目录 介绍发送一个Get请求发送Post请求设置请求头请求体带添json发送请求完整的发送蓝图 处理收到的数据常用的json处理节点 介绍 UE5 自带的Http插件，插件内自带json解析功能 发送一个Get请求 只能写在事件图表里 发送Post请求 只能写在事件图表里 设置…
阅读更多...
SQL 结构化模型设计与现代技术融合深度解读

SQL 结构化模型设计与现代技术融合深度解读

摘要 本文系统展示了基于 JSON Schema 的 SQL 结构化模型设计，包括通用定义、四大基本操作（SELECT、INSERT、UPDATE、DELETE）的模型规范，以及面向现代场景的设计扩展。重点结合数据权限控制、乐观锁并发控制、表单自动化、自定义…
阅读更多...
el-dialog 组件 多层嵌套 被遮罩问题

el-dialog 组件 多层嵌套 被遮罩问题

<el-dialog title"提示" :visible.sync"dialogBindUserVisible" width"30%" append-to-body :before-close"handleClose"> <span>这是一段信息</span> <span slot"footer" class"dialog-footer&q…
阅读更多...
【KWDB 2025 创作者计划】_KWDB时序数据库特性及跨模查询

【KWDB 2025 创作者计划】_KWDB时序数据库特性及跨模查询

一、概述 数据库的类型多种多样&#xff0c;关系型数据库、时序型数据库、非关系型数据库、内存数据库、分布式数据库、图数据库等等&#xff0c;每种类型都有其特定的使用场景和优势&#xff0c;KaiwuDB 是一款面向 AIoT 场景的分布式、多模融合、支持原生 AI 的数据库…
阅读更多...
学习心得（12-13）HTML 是什么 abort函数and自定义异常

学习心得（12-13）HTML 是什么 abort函数and自定义异常

一. abort函数 将后端的数据给到前端 二. 自定义异常 要结合abort函数使用 1.编写的时候都在abort的函数这个文件里面 错误信息在前端页面的展示&#xff1a; 如果想要在出现异常的时候返回一个页面&#xff1a; 1. 新建一个HTML文件 例如命名为404 2.将图库里的图片拖入…
阅读更多...
理解全景图像拼接

理解全景图像拼接

1 3D到2D透视投影 三维空间上点 p 投影到二维空间 q 有两种方式&#xff1a;1&#xff09;正交投影&#xff0c;2&#xff09;透视投影。 正交投影直接舍去 z 轴信息&#xff0c;该模型仅在远心镜头上是合理的&#xff0c;或者对于物体深度远小于其到摄像机距离时的近似模型。…
阅读更多...
Linux基本指令篇 —— whoami指令

Linux基本指令篇 —— whoami指令

whoami 是 Linux 和 Unix 系统中一个简单但实用的命令&#xff0c;全称 Who Am I&#xff08;我是谁&#xff09;。它的功能是显示当前登录用户的用户名。以下是关于 whoami 的详细解析&#xff1a; 目录 1. 基本用法 2. 命令特点 3. 实际应用场景 场景 1&#xff1a;脚本中…
阅读更多...
华为OD机试真题——仿LISP运算（2025B卷：200分）Java/python/JavaScript/C/C++/GO最佳实现

华为OD机试真题——仿LISP运算（2025B卷：200分）Java/python/JavaScript/C/C++/GO最佳实现

2025 B卷 200分 题型 本专栏内全部题目均提供Java、python、JavaScript、C、C++、GO六种语言的最佳实现方式； 并且每种语言均涵盖详细的问题分析、解题思路、代码实现、代码详解、3个测试用例以及综合分析； 本文收录于专栏：《2025华为OD真题目录+全流程解析+备考攻略+经验分…
阅读更多...
创建dummy

创建dummy

访客_dc1fc4 class Solution { public: int minSubArrayLen(int target, vector<int>& nums) { int left0;int right0;int n nums.size(); int sum0;int ans100001; for(right0;right<n;right) { sumnums[right]; //每次更新右端点之后&#xff0c;立即向右移动…
阅读更多...
面向恶劣条件的道路交通目标检测----大创自用（当然你也可以在里面学到很多东西）

面向恶劣条件的道路交通目标检测----大创自用（当然你也可以在里面学到很多东西）

全部内容梳理 目标检测的两个任务&#xff1a; 预测标签 边界框 语义分割 实力分割 一个是类别 一个是实例级别 分类任务把每个图像当作一张图片看待 所有解决方法是先生成候选区域 再进行分类 置信度&#xff1a; 包括对类别和边界框预测的自信程度 输出分类和IOU分数的…
阅读更多...
最新文章

Copyright @ 2022~2023