前言
DeepSeek是近年来备受关注的大模型之一,支持多种推理和微调场景。很多开发者希望在本地部署DeepSeek模型,并通过WebUI进行可视化交互。本文将详细介绍如何在本地环境下部署DeepSeek,并实现WebUI可视化,包括Ollama和CherryStudio的使用方法。
一、环境准备
1. 硬件要求
- 推荐NVIDIA显卡,显存16GB及以上(如A100、3090等)
- 至少50GB磁盘空间
2. 软件要求
- 操作系统:Linux或macOS(Windows建议使用WSL2)
- Python 3.8及以上
- CUDA 11.7及以上(如需GPU加速)
- pip最新版
二、安装依赖
# 更新pip
pip install --upgrade pip# 安装PyTorch(根据你的CUDA版本选择)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117# 安装DeepSeek相关依赖
pip install deepseek
三、下载DeepSeek模型
你可以通过HuggingFace或DeepSeek官方仓库下载模型权重。例如:
# 以DeepSeek LLM为例
git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-base
或者使用transformers库直接加载:
from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = "deepseek-ai/deepseek-llm-7b-base"
tokenizer = AutoTokenizer