大家好！这里是迪小莫学AI，今天的文章是“”大型语言模型部署实战：多机多卡DeepSeek-R1配置指南“”
前言
随着大型语言模型的快速发展，如何高效部署这些模型成为技术团队面临的重要挑战。本文将分享基于DeepSeek-R1模型的多机多卡部署实践经验，帮助读者了解如何优化GPU资源利用，提高模型推理性能。
模型部署架构
硬件资源配置
为了达到最佳性能，我们采用了"每两台机器部署一个模型"的方案。实际测试表明，使用2台配备8张H100的机器，或2台配备8张H800的机器，性能表现相似，都能达到约20 token/s的总体吞吐量。
性能数据参考
单组模型（2台机器）在不同输入长度下的性能表现：
| 提示长度 | 最大令牌数 | 首令牌时间(秒) | 每秒令牌数 | 总时间(秒) | 总令牌数 |
|---|---|---|---|---|---|
| 7 | 8192 | 0.37 | 25.40 | 91.46 | 2323 |
| 8007 | 8192 | 11.14 | 19.98 | 94.24 | 1883 |
| 118007 | 8192 | 159.58 | 5.35 | 664.18 | 3551 |
并发性能表现：
| 并发请求 | 提示长度 | 最大令牌数 | 首令牌时间(秒) | 每秒令牌数 | 总时间(秒) | 总令牌数 |
|---|---|---|---|---|---|---|
| 1 | 7 | 8192 | 0.36 | 24.34 | 73.71 | 1794 |
| 8 | 7 | 8192 | 0.97 | 18.71 | 79.86 | 11979 |
| 16 | 7 | 8192 | 2.76 | 15.69 | 117.17 | 29496 |
| 32 | 7 | 8192 | 2.38 | 7.97 | 211.15 | 54220 |
模型信息
DeepSeek-R1相比于DeepSeek-V3，体量相同但数据经过优化，效果有明显提升。这些模型的开源仓库可通过搜索"deepseek-ai/deepseek-v3"找到。
例如魔搭社区和抱脸社区
https://modelscope.cn/models/deepseek-ai/DeepSeek-R1/files
SG-Lang多机多卡部署
设备支持与性能优化
-
硬件兼容性：H系列显卡支持FP8，而A100不支持。使用A100需要将FP8转换为BF16，模型大小会从642GB增加到超过1.3TB，因此需要至少4个A100节点。
-
关键优化参数：
--enable-dp-attention：优化重复的KV缓存和内存使用，适合高并发场景--enable-torch-compile：延迟优化，提升3-4 token/s的速度--grammar-backend xgrammar：实现快速结构化输出--allow-auto-truncate：允许超长内容自动截断
-
内存管理：
在显存紧张时，可使用--mem-fraction-static 0.75参数降低静态内存分配比例
Docker部署指令模板
以下是多节点部署的Docker命令模板：
# 第一个节点
docker run -itd \--name llm_node1 \--gpus all \--shm-size 32g \--network=host \-v /本地模型路径:/容器模型路径 \--ipc=host \sglang容器镜像 \python3 -m sglang.launch_server \--model-path /容器模型路径/DeepSeek-R1 \--tp 16 \--dist-init-addr 主节点IP:端口 \--nnodes 2 \--node-rank 0 \--trust-remote-code \--host 0.0.0.0 \--port 服务端口 \--allow-auto-truncate# 第二个节点
docker run -itd \--name llm_node2 \--gpus all \--shm-size 32g \--network=host \-v /本地模型路径:/容器模型路径 \--ipc=host \sglang容器镜像 \python3 -m sglang.launch_server \--model-path /容器模型路径/DeepSeek-R1 \--tp 16 \--dist-init-addr 主节点IP:端口 \--nnodes 2 \--node-rank 1 \--trust-remote-code \--host 0.0.0.0 \--port 服务端口 \--allow-auto-truncate
高级优化配置
针对性能要求更高的场景，可以添加以下优化参数：
python3 -m sglang.launch_server --model-path /path/to/DeepSeek-R1 --tp 16 \--dist-init-addr 主节点IP:端口 \--nnodes 2 --node-rank 0 \--trust-remote-code \--host 0.0.0.0 --port 服务端口 \--max-running-requests 1024 \--enable-torch-compile \--enable-flashinfer-mla \--schedule-conservativeness 0.01
推测解码优化
使用Next-N推测解码可大幅提升性能：
--speculative-algorithm NEXTN \
--speculative-draft /path/to/DeepSeek-R1-NextN \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4
实测性能对比：
| 优化方式 | 并发请求 | 首令牌时间(秒) | 每秒令牌数 |
|---|---|---|---|
| 基础配置 | 1 | 2.13 | 18.28 |
| 基础配置 | 8 | 4.21 | 11.86 |
| 推测解码 | 1 | 0.38 | 30.44 |
| 推测解码 | 8 | 0.65 | 13.69 |
网络优化
对于使用InfiniBand网络的集群，可添加以下环境变量优化NCCL通信：
-e NCCL_DEBUG="INFO" \
-e "NCCL_SOCKET_IFNAME=网卡名称" \
-e NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2,mlx5_3 \
-e NCCL_P2P_LEVEL=NVL \
-e NCCL_IB_GID_INDEX=0 \
-e NCCL_IB_CUDA_SUPPORT=1 \
-e NCCL_NET_GDR_LEVEL=2
其他推理架构对比
vLLM
vLLM是另一个常用的推理框架，支持多机部署。详细信息可搜索"vLLM Distributed Serving"。
ktransformers
支持在24G显存的设备上运行DeepSeek-R1/V3模型。预处理速度最高可达286 tokens/s，推理生成速度最高能达到14 tokens/s。
优点：
- 性能较高，追求CPU性能极限
- 适合单用户场景
缺点：
- 拓展性弱
- 无法支持高并发
- 需要新一代CPU
Unsloth
支持纯CPU、CPU+GPU混合或纯GPU模式，支持企业级并发，双卡A100可实现百人并发，每人14tokens/s，可与ollama和vllm集成。
常见问题与解决方案
进程终止问题
在某些部署环境中，可能遇到进程无法正常终止的问题。可通过修改sglang的utils.py文件中的kill_process_tree函数解决：
def kill_process_tree(parent_pid, include_parent: bool = True, skip_pid: int = None):"""Kill the process and all its child processes."""if parent_pid is None:parent_pid = os.getpid()include_parent = Falsetry:itself = psutil.Process(parent_pid)except psutil.NoSuchProcess:returnchildren = itself.children(recursive=True)for child in children:if child.pid == skip_pid:continuetry:child.kill()except psutil.NoSuchProcess:passif include_parent:if parent_pid == os.getpid():sys.exit(0)else:try:itself.kill()itself.send_signal(signal.SIGQUIT)except psutil.NoSuchProcess:pass
添加看门狗超时
为防止进程卡死，可添加watchdog参数：
--watchdog-timeout 3600 # 单位为秒，表示1小时
镜像与模型管理
镜像迁移
在无网络环境下迁移Docker镜像：
# 导出镜像
docker save -o llm_image.tar 镜像名称:标签# 导入镜像
docker load < llm_image.tar
模型迁移
使用rsync高效传输模型：
rsync -avP 源路径/DeepSeek-R1/ 目标路径/DeepSeek-R1/
总结
大型语言模型的部署是一项复杂的系统工程，需要考虑硬件资源、网络环境、软件栈等多方面因素。通过本文介绍的方法，可以在多机多卡环境中高效部署DeepSeek-R1等大模型，实现较高的推理性能和并发处理能力。
随着硬件和软件技术的不断进步，大模型部署方案也将持续演进。建议读者保持关注社区最新动态，不断优化自己的部署策略。
