Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）
官方下载网站（https://ollama.ai/）
Windows系统安装方法
建议命令行安装（默认安装会直接安装到C盘）
OllamaSetup.exe/DIR=D:\software\ollama大模型下载地址 -- 按需求下载 libraryBrowse Ollama's library of models.
https://ollama.com/library/命令行导入大模型：
# 导入大模型
ollama create deepseek8b -f Modelfile # 查看
ollama list# 运行
ollama run deepseek8bModelfile 文件包含目标大模型路径
FROM H:\2025-deepseek\llm_model\Deepseek8B\DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf效果展示：
启用远程访问
默认仅限本地访问，如需远程调用：
# 开放防火墙端口
New-NetFirewallRule -DisplayName "Ollama API" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434# 启动 Ollama 时绑定到所有网络
ollama serve --host 0.0.0.0API接口 Python调用
import requestsresponse = requests.post("http://localhost:11434/api/generate",json={"model": "deepseek8b","prompt": "你运行的大模型是那个版本，简洁回答","stream": True,}
)
print(response.json()['response'])嗯，我现在需要分析一下这个用户的问题。他们说：“你运行的大模型是那个版本，简洁回答是最好的。”看起来用户是在询问我当前使用的模型版本，并且希望得到一个简明扼要的回答。
.......</think>
我是由深度求索公司独立运行的DeepSeek-R1-Lite-Preview模型。
Linux系统安装方法
直接下载二进制
# 下载最新版 Ollama
curl -L https://ollama.ai/download/ollama-linux-amd64 -o ollamatar -xf ollama-linux-amd64.tgz# 移动到系统路径
sudo mv bin/ollama /usr/local/bin/# 赋予执行权限
chmod +x /usr/local/bin/ollama启动 Ollama 服务
# 启动服务（前台运行）
ollama serve# 或作为后台服务（需 systemd）
cat <<EOF | sudo tee /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3[Install]
WantedBy=default.target
EOF# 启动并设置开机自启
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama测试可用性
下载预训练模型（例如 phi）
ollama pull phi验证模型运行
# 交互式测试
ollama run phi "How to check disk space in Red Hat?"
启用本地 API 接口
Ollama 默认提供 REST API（端口 11434）：
# 测试 API
curl http://localhost:11434/api/generate -d '{"model": "phi","prompt": "Hello"
}'
API 接口示例
-
对话模式：
curl http://localhost:11434/api/chat -d '{"model": "phi","messages": [{ "role": "user", "content": "Who are you?" }]
}'
使用 Python 调用 API
import requestsresponse = requests.post("http://localhost:11434/api/generate",json={"model": "phi", "prompt": "Explain RPM packages"}
)
print(response.json()["response"])常见问题
-
GPU 加速：
安装 NVIDIA 驱动和 CUDA，添加--gpus all参数（需 Docker 运行）。 -
端口冲突：
修改启动参数ollama serve --host 0.0.0.0:11435。 -
模型存储路径：
默认在~/.ollama/models，可通过环境变量OLLAMA_MODELS修改。
