电脑需要显卡:
执行下载并安装:
curl -fsSL https://ollama.com/install.sh | sh
安装完后到Ollama Search 中查看ollama 可以部署的模型有哪些:
我选择gemma3,所以执行:
ollma pull gemma3:latest 这样就把gemma3:latest 模型下载到了本地
可以查看已经下载安装的大模型:ollama list
运行模型:
ollama run gemma3 或者 ollama run gemma3:latest
再执行:ctrl + d 退出对话
安装Dify:
AGI之路-ubuntu24安装docker部署dify接入ollama deepseekr1:14b - 知乎
Ubuntu 24.04 LTS 安装Docker_ubuntu24.04安装docker-CSDN博客
Doker 安装记得添加官方秘钥 以及配置国内源
git clone https://gitee.com/dify_ai/dify.git #使用国内地址,避免超时
cd dify/docker
cp .env.example .env
#运行dify
sudo docker compose up -d
查看dify日志
sudo docker compose logs -f
三 dify接入ollama准备工作
通过 systemd 服务文件配置环境变量
如果 Ollama 是通过 systemd 管理的服务,可以通过修改其服务文件来设置环境变量。
步骤:
使用 vim 编辑 Ollama 的 systemd 服务文件:
sudo vim /etc/systemd/system/ollama.service
在 [Service] 部分添加以下内容:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
编辑完成后,文件内容可能类似以下:
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/bin/ollama
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
Restart=always
[Install]
WantedBy=multi-user.target
保存并退出 vim:
按 ESC 键退出编辑模式。
输入 :wq 保存并退出。
重新加载 systemd 配置并重启 Ollama:
sudo systemctl daemon-reload
sudo systemctl restart ollama
3. 验证配置
检查 Ollama 是否正在监听指定的 IP 和端口:
sudo netstat -tuln | grep 11434
如果配置成功,应该会看到类似以下的输出:
tcp 0 0 0.0.0.0:11434 0.0.0.0:* LISTEN
4. 通过 IP 访问
现在可以通过服务器的 IP 地址访问 Ollama,例如:
curl http://:11434