部署大语言模型（如 Qwen/LLaMA 等）时，vLLM 与 DeepSpeed 是当前主流的两种高性能推理引擎。它们各自专注于不同方向，部署流程也有明显区别。

vLLM 提供极致吞吐、低延迟的推理服务，适用于在线部署；DeepSpeed 更侧重训练与推理混合优化，支持模型并行，适用于推理 + 微调/训练。

---

下面对其进行如下总结：

🔧 一、vLLM 部署大模型流程

📌 vLLM 优势

• 高吞吐/低延迟推理（通过 PagedAttention）
• 支持 并发多用户动态 Batch 合并（Dynamic Batching）
• API 接口简洁、类 OpenAI 接口
• GPU 显存管理高效，支持 FP16 / INT4

---

🚀 部署流程

✅ 环境安装

pip