目录

第一部分：大型语言模型（LLM）推理显存占用的核心原理

1.1 显存占用的主要构成部分

1.2 影响显存占用的关键因素

1.2.1 模型架构：MoE vs. 稠密模型

1.2.2 上下文长度与并发数

1.2.3 部署方式与推理框架

1.2.4 硬件能力

第二部分：显存占用的精确计算方法

2.1 模型参数显存计算

2.2 KV缓存显存计算

2.3 激活值与其他开销估算

第三部分：案例分析：Qwen3 235B 与 Seed-36B 显存占用估算

3.1 模型架构参数

3.2 估算前提与假设

3.3 显存占用计算与分析

3.3.1 静态模型参数显存

3.3.2 动态KV缓存显存

3.3.3 综合显存需求估算表

第四部分：结论

---

随着大型语言模型（LLM）的参数规模和应用场景持续扩大，精确评估其在实际部署中的显存占用已成为模型选型、成本控制和性能优化的核心环节。本报告旨在提供一个全面、深入的分析框架，用于评估不同LLM在各种部署条件下的实际显存需求。报告首先阐述了LLM推理显存占用的核心原理，剖析了模型参数、KV缓存、激活值等关键组成部分，并分析了模型架构（如稠密模型与混合专家模型MoE）、上下文长度、并发数等因素的影响。随后，报告详细介绍了显存占用的计算方法，并对比了vLLM、SGLang等主流推理框架在显存管理上的策略差异。最后，本报告以当前业界领先的Qwen3 235B（MoE模型）和字节跳动最新的Seed-36B（稠密模型）为例，结合NVIDIA RTX 4090和H100两款典型硬件，通过理论计算和表格化的方式，详细估算了它们在不同并发请求下的显存需求，为实际部署提供了具象化的参考。

第一部分：大型语言模型（LLM）推理显存占用的核心原理

要精确评估LLM的显存占用，首先必须理解其在推理过程中的内存消耗构成。与需要存储梯度和优化器状态的训练阶段不同，推理阶段的显存占用主要由静态的模型权重和动态的计算缓存构成 。

1.1 显存占用的主要构成部分

1. 模型参数（Model Parameters / Weights） ：这是显存占用的最主要和最基础的部分 。它指的是模型加载到GPU中以执行计算所需的所有权重和偏置。其大小直接由模型的参数量和存储每个参数所用的数据精度（如FP32、FP16、BF16、INT8或INT4）决定 。例如，一个70亿参数的模型，如果使用FP16（每个参数占2个字节）精度，仅模型参数就需要70亿 * 2字节 ≈ 14 GB的显存。

2. KV缓存（Key-Value Cache） ：在基于Transformer架构的LLM中，为了避免在生成每个新token时重复计算前面所有token的键（Key）和值（Value）矩阵，系统会将这些中间结果缓存起来，这就是KV缓存 。KV缓存的大小是动态的，它与 并发数（Batch Size） 、 序列长度（Sequence Length） 、模型层数、隐藏维度以及注意力头数等参数强相关 。对于长文本或高并发场景，KV缓存可能成为显存的主要消耗者，甚至超过模型参数本身占用的显存 。

3. 激活值（Activations / Activation Memory） ：这是模型在前向传播过程中产生的中间张量 。虽然在推理过程中，许多激活值在计算后可以立即释放，但仍有一部分需要保留以供后续层计算。其峰值大小取决于模型架构的复杂性、序列长度和并发数 。相比训练过程，推理时的激活值占用通常较小，但在某些复杂计算或长序列下仍不可忽视 。

4. 框架开销及其他（Framework Overhead & Others） ：这部分包括推理框架（如vLLM、SGLang、PyTorch）自身的运行时开销、CUDA内核、临时工作区（Workspace）以及一些无法预见的显存碎片等 。这部分开销通常较难精确计算，一般会预留10%-20%的“安全边际”作为估算 。

1.2 影响显存占用的关键因素

1.2.1 模型架构：MoE vs. 稠密模型

• 稠密模型 (Dense Model) ：如字节跳动的Seed-36B 在推理时需要加载并激活全部模型参数。因此，其模型参数部分的显存占用是固定的，由总参数量决定。
• 混合专家模型 (MoE, Mixture of Experts) ：如阿里的Qwen3 235B 其总参数量巨大，但每次前向传播只激活一小部分专家（Experts）。例如，Qwen3 235B拥有2350亿总参数，但在推理时仅激活约220亿参数 。这意味着其模型参数显存占用远小于其标称的总参数量，仅取决于激活参数量。然而，其KV缓存和激活值的计算仍需基于模型的完整隐藏维度和层数，这使得MoE模型在显存效率上展现出巨大优势 。

1.2.2 上下文长度与并发数

上下文长度（序列长度）和并发数（批处理大小）主要通过影响KV缓存的大小来改变总显存占用。

• 上下文长度 (Context Length) ：KV缓存的大小与序列长度成线性正比关系 。当处理的文本越长，需要缓存的K和V矩阵就越多，显存占用随之飙升。
• 并发数 (Concurrency / Batch Size) ：KV缓存的大小同样与并发请求的数量成线性正比关系 。每个并发请求都需要自己独立的KV缓存空间。因此，并发数越高，总的KV缓存需求就越大。

1.2.3 部署方式与推理框架

不同的推理框架通过其独特的内存管理技术，对显存的实际使用效率产生显著影响。

• vLLM：其核心技术是PagedAttention 。它将KV缓存像操作系统管理虚拟内存一样，以“块（Block）”为单位进行分页管理。这极大地减少了因序列长度不同导致的内存碎片，实现了高达92%的内存利用率 ，并能支持更高的并发吞吐量 。
• SGLang：SGLang采用了RadixAttention和精细化的内存管理机制 。它特别擅长处理复杂的生成任务（如Agent工作流、CoT），通过优化的调度算法和内存回收机制，在