资料来源：火山引擎-开发者社区
近日，火山引擎基于部分云服务器实例规格邀测发布 vRDMA 特性，提供云上 VPC 内大规模 RDMA 加速能力，可兼容传统 HPC 应用、AI 应用以及传统 TCP/IP 应用，降低大众化场景的适配门槛，让更多的应用可以体验到更好的上云性能。
传统的 TCP/IP 传输，在传输数据时需要经过多层协议的封装和解封，且需要通过内核进行处理，涉及多次数据复制和上下文切换，存在较多的局限性，无法满足对网络性能要求极为严苛的场景，如高性能计算、模型推理、机器学习、大数据传输等领域。
RDMA 技术的出现以及被广泛应用，得益于其相较于传统的 TCP 网络通信协议的显著优势。RDMA 打破了传统的分层架构，允许应用程序直接访问远程计算机的内存，无需经过操作系统内核和协议栈的多次数据拷贝和处理，实现了内存到内存的直接数据传输，大大减少了数据处理的中间环节，延迟可降低至微秒级。
火山引擎过去已在高性能计算 GPU 型实例上提供 RDMA 通信能力，对 RDMA 使用场景也进行了诸多产品支持，详情可见：

• 在机器学习平台上通过 RDMA 网络加速训练：https://www.volcengine.com/docs/6459/96563
• 在 VKE 集群中使用 RDMA 资源：https://www.volcengine.com/docs/6460/1125782

但是，RDMA 依赖于网络的无损特性、运维成本与使用成本较高，且传统的网络隔离机制将 RDMA 通信限制在单一集群内，导致应用范围受限。因此，出于对成本效益及适配多样化场景的考虑，如何“使 RDMA 协议运行在云上 VPC 内，同时具备无限接近物理网络的性能表现”成为火山引擎的演进方向，vRDMA 应运而生。
什么是 vRDMA
vRDMA 是火山引擎自研的云上弹性 RDMA 网络，将 RDMA 技术应用到了 VPC 网络中。与传统需配备单独硬件网卡的 RDMA 不同，vRDMA 依附于 VPC 内的弹性网卡 ENI。用户仅需为实例挂载开启了 vRDMA 的弹性网卡，便可在不改变原有业务组网的情况下激活 RDMA 通信能力，且无需额外付费。
vRDMA 底层搭配全栈自研的拥塞控制 CC（Congestion Control）算法，可以容忍 VPC 网络中的延迟、丢包等问题，在有损的网络环境中依然有良好的性能表现。同时可以复用 VPC 网络的隔离性进行安全通信，在享有传统 RDMA 网络高吞吐、低延迟特性的同时，突破集群限制，支持更高的弹性扩展，实现秒级的大规模 RDMA 组网。

当前，vRDMA 已在部分实例规格上启动邀测。用户使用支持的公共镜像或自行安装火山引擎提供的 vRDMA 驱动即可使用。ECS 实例可通过开启了 vRDMA 的弹性网卡同时进行 RDMA 与 TCP/IP 协议通信，二者共享实例网络带宽。

技术优势

• 高性能：vRDMA 将 RDMA 技术应用到 VPC 网络中，使弹性网卡具有 RDMA 特性（低 CPU 负载、低网络延迟）。您可以在云网络环境中体验到 vRDMA 带来的出色性能，获取与物理 RDMA 一致的性能体验。
• 共享 VPC 网络：vRDMA 功能完全复用 VPC 网络，可以在原来的业务组网架构下直接启用 RDMA 功能，无需再区分 VPC 弹性网卡与 RDMA 网卡，使用更加灵活便捷。
• 兼容性：支持标准的 Verbs 以及大部分 Infiniband 通信语义，支持业内主流通信库及中间件，无需对原有的应用程序进行大规模的修改，降低技术升级和迁移成本。
• 弹性扩展：不同于传统的 RDMA 需要单独的硬件网卡，vRDMA 依附于弹性网卡，您可以随时创建支持 vRDMA 属性的弹性网卡并绑定到实例，轻松实现弹性扩展，满足不同场景下对网络功能的动态需求。
• 隔离性：vRDMA 能够与传统 TCP/IP 共享实例带宽。通过对交换机共享缓存的合理配置以及队列配置，实现了 vRDMA 和 TCP/IP 在交换机上的 buffer 和流量隔离。通过 vQos 和多级 Meter 能力，支持 vRDMA 和 TCP/IP 出入向的流量细粒度隔离。
• 大规模组网：传统 RDMA 基于无损网络，规模部署成本高且困难。vRDMA 仅依赖有损的以太网络，同时结合自研的拥塞控制 CC 算法、网卡上的 TX window 和 Adaptive retransmission 的特性，在大规模、跨集群、长距离通信场景下能够提供高性能的网络服务。

性能表现
得益于自研高性能拥塞控制算法、自研高性能 vSwitch 等软硬件一体化技术栈，火山引擎 ECS 实例的 vRDMA 带宽最高可达 320Gbps，极限时延可低至 5us，每秒消息数最高可达 50M。
平均时延和长尾时延性能是衡量云网络的重要指标之一，直接影响了网络通信的实时性和响应性，对于分布式文件系统、大模型推理、HPC 超算等业务场景尤为重要。vRDMA 的平均传输延迟仅为基于 Kernel TCP/IP 的1/5，平均传输时延可降低 80%，长尾传输时延可降低 99%。
单连接吞吐是指在网络通信过程中，单个连接在单位时间内传输的数据量。对于分布式文件系统、大模型训练等大象流业务场景尤为重要。vRDMA 单 QP 的带宽对比基于 Kernel TCP/IP 单连接，带宽可提升至 300%。

最佳实践
vRDMA 能够大幅降低大规模集群网络互联带来的网络通信延迟，大幅提升分布式计算的性能和性价比，可以在多领域多业务场景中得到应用：

• 分布式存储：受 GPU 计算集群的软硬件故障等客观因素影响，大模型训练中断后基于 checkpoint 的恢复，依赖高性能的分布式存储服务。计算节点与存储服务之间可以通过 vRDMA 实现高性能通信，同时 VPC 网络也可以为模型算法、用户数据、训练数据等提供安全隔离的能力。在分布式文件系统存算通信场景下，vRDMA 对比 Kernel TCP/IP 全透读场景读带宽可提升 35%，全命中场景读带宽可提升 60%。
• 大模型推理：大模型 PD 分离推理架构中，由于 Prefilling 阶段与 Decoding 阶段分别属于计算密集型与访存密集型，一般可选用不同的机型。PD 异构集群之间使用 vRDMA 通信可以加速 KV Cache 传输，充分利用不同 GPU 的特点，实现高效、快速的模型推理，提升推理系统整体的吞吐并降低延迟。在 LLM 大模型推理场景，Second Token 以及 TPOT 长尾时延，vRDMA 对比 Kernel TCP/IP 可下降 50%。
• 高性能计算：越来越多的HPC类业务逐步从自建数据中心迁移到公有云，如工业仿真场景，在依赖 RDMA 协议进行高带宽、低延时通信的同时，可以借助 vRDMA 提升部署的灵活性并降低资源使用成本。在传统 HPC 高性能计算场景，LS-DYNA 和 Star-CCM 的 2 节点线性度，vRDMA 对比 Kernel TCP/IP 可提升 30%，并且可支持更大节点数的并行计算能力。

结语
火山引擎 vRDMA 相关技术的论文已经被 ACM SIGCOMM 2025 主会接收，SIGCOMM 是 ACM 组织在通信网络领域的旗舰型会议，位列网络通信领域会议之首，对论文的质量和数量要求极高，要求具有基础性贡献、领导性影响和坚实系统背景，通常录用率低于 20%。此外，火山引擎自研拥塞控制算法论文已经被 CCF A 类会议 ATC 2025 主会接受，ATC 是计算机系统领域的顶级会议，ATC 2025 会议录用率低于 16%。更多关于火山引擎 vRDMA、自研拥塞控制算法的技术细节我们将会持续披露。
未来，火山引擎会将 vRDMA 建设为云上高性能网络通信的通用能力，逐步覆盖到更多云服务器实例规格。同时持续完善 vRDMA 生态建设，结合火山引擎自研传输层优化技术、自研高性能集合通信库，不断探索未来 RDMA on VPC 演进路线，让 RDMA 网络从支撑小众的 AI 与 HPC 类应用，走向支持通用类计算场景，持续提升火山引擎的网络技术竞争力。