训推一体 | 暴雨X8848 G6服务器 x Intel®Gaudi® 2E AI加速卡

近日,暴雨信息携手英特尔,针对Gaudi® 2E AI加速器HL-288 PCIe卡(简称Intel®Gaudi® 2E PCIe卡,下同)完成专项调优与适配工作,并重磅推出Intel Eagle Stream平台4U8卡解决方案。该方案通过软硬件协同优化,显著提升深度学习训练与推理性能,尤其在大模型训练、高内存容量需求及实时推理等高强度场景中表现突出,可充分满足行业对高效AI计算的核心诉求。

而Intel®Gaudi® 2E PCIe卡基于Habana Gaudi2架构设计,面向数据中心和企业级AI工作负载优化,旨在提供高性能、高效率的生成式AI计算。

该卡配备96 GB大容量内存,其先进的HBM控制器针对随机访问和线性访问场景进行了深度优化,在各种访问模式下可提供高内存带宽,有效避免因显存不足造成AI训练或推理任务的延迟问题,保障计算流程的流畅性。在扩展性方面,该卡表现尤为突出:单卡原生集成24个50GbE RoCE v2 RDMA端口,通过配套的四卡全连接板,可对四张PCIe卡进行全连接,提升多卡互联性能。全连接板与每张PCIe卡内18个50Gbps口相连,实现四张卡两两互联300Gbps的通信带宽。

同时,该卡基于Intel的可编程TPC和GEMM引擎,融合了诸多技术创新,支持各种面向AI级的高级数据类型,如FP8/BF16/PF16/TF32和FP32。通过外接网卡,实现横向扩展,以满足多节点集群的需要。

据最新实测数据显示,X8848 G6服务器:搭配8张Intel®Gaudi® 2E PCIe卡,运行DeepSeek-R1-671B模型,在输入/输出token长度均为1k,多用户并发数为32的条件下,单并发Token生成效率达11 Tokens/s,可满足企业级私有化部署。搭配2张Intel®Gaudi® 2E PCIe卡,运行DeepSeek-R1-Distill-Qwen-32B模型,在输入/输出token长度均为1k、多用户并发数为32的条件下,单并发Token生成效率达20 Tokens/s,可满足AI推理(知识库)一体化应用。

在AI算力需求爆发的当下,暴雨信息X8848 G6服务器Intel®Gaudi® 2E AI加速卡的强强联合,正是精准呼应 “训推一体” 的高效算力需求—— 从模型训练的深度突破到推理部署的实时响应,其全能表现将切实助力各行各业加速 AI 技术落地与价值释放。若您想了解更多适配场景、性能数据或定制化方案,欢迎联系交流,我们将为您提供更详尽的技术解读与全流程支持,让高效AI算力真正转化为业务增长的强劲引擎。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/92935.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/92935.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

GB17761-2024标准与电动自行车防火安全的技术革新

随着我国电动自行车保有量突破3.5亿辆,这一便捷的交通工具已成为城市出行的重要组成。然而,伴随市场规模扩大而来的是日益突出的安全问题——2023年全国电动自行车火灾事故高达2.5万起,年均增长率约20%,火灾中塑料件加速燃烧并释放…

利用容器编排完成haproxy和nginx负载均衡架构实施

1 创建测试目录和文件[rootdocker-a ~]# mkdir lee [rootdocker-a ~]# cd lee/ [rootdocker-a lee]# touch docker-compose.yml # 容器编排工具Docker Compose 默认识别docker-compose.yml文件2 编写docker-compose.yml文件和haproxy.cfg文件2.1 核心配置说明2.1.1 服务结构共定…

WinRAR v7.13 烈火汉化稳定版,解压缩全格式专家

[软件名称]: WinRAR v7.13 烈火汉化稳定版 [软件大小]: 3.8 MB [下载通道]: 夸克盘 | 迅雷盘 软件介绍 WinRAR 压缩文件管理器,知名解压缩软件,电脑装机必备软件,国内最流行最好用的压缩文件管理器、解压缩必备软件。它提供 RAR 和 ZIP 文…

强化学习常用数据集

强化学习常用数据集数学推理数据集数值标签GSM8K(2021 OpenAI)问答数据集在LLM场景下进行强化学习训练的时候,时常会涉及到各种各样的数据集,容易记不住,因此开个帖子记录一下。可采取的分类方法有很多,这里直接按照领…

ROS2学习(1)—基础概念及环境搭建

文章目录核心框架环境搭建小乌龟机器人控制小乌龟启动键盘控制启动rqt查看ros节点关系核心框架 这里有几个比较重要的概念: 四大通信机制:话题(Topic)、服务(Service)、动作(Action&#xff09…

基于STM32单片机超声波测速测距防撞报警设计

1 系统功能介绍 本设计是一套基于 STM32F103C8T6 单片机 的超声波测速测距防撞报警系统,能够实现对目标物体的实时测距与测速,并通过 TFT 彩屏进行动态显示,同时根据用户设定的距离与速度阈值进行报警提示。该系统不仅可以用于固定场景的安全…

麒麟系统播放 pptx

目录 python 操作 LibreOffice 控制pptx 一页一页播放 1. 安装 LibreOffice(麒麟系统基于 Debian/Ubuntu) 2. 如果只想安装 PPT 播放/转换(Impress) 1. 启动 LibreOffice UNO 服务 2. Python 控制播放uno安装方法&#xff1a…

嵌入式Linnux学习 -- 软件编程2

四、IO1. 概念1. IO 指 input / output2. Linux系统中一切皆是文件3. IO操作的对象是文件2. 文件1. 概念一段数据的集合2. 特点文件通常存放在外存中,掉点后数据不会丢3. 分类b(block,块设备文件)-- 按块扫描信息的文件&#x…

Spark02 - SparkContext介绍

一、应用入口:SparkContextSpark Application 程序入口为:SparkContext,任何一个应用首先需要构建 SparkContext 对象,如下两步构建:第一步、创建 SparkConf 对象设置 Spark Application 基本信息,比如应用…

Selenium动态元素定位

动态元素定位方法一:使用CSS选择器通过部分匹配操作符定位动态属性中的固定部分。*(包含),^(开头),$(结尾)。/* 匹配id前缀为user_的元素 */ cssdiv[id^"user_"…

OBOO鸥柏丨115寸商用屏/工业液晶显示器招标投标核心标底参数要求

整机参数要求:商用液晶显示器/工业LCD一体机/商业智能终端机/工业防爆显示器/招标投标核心标底参数要求1、整机屏幕采用≥采用115英寸超高清原厂原包原装工业LCD液晶屏面板;具有高色域,显示动态视频、web及3D动画时,保障运动画面流…

麻溜启动Oracle实例demo

注意:镜像非常大并且外网网络过慢,可能得pull一天(n次超时)。。md后台静默pull命令: nohup docker pull container-registry.oracle.com/database/express:latest > pull.log 2>&1 & 启动实例&#xff1…

应用监控工具Skywalking

目录 Skywalking介绍 Skywalking架构 Skywalking安装 Skywalking使用 Skywalking配置 Skywalking数据持久化 Skywalking告警 Skywalking介绍 Apache Skywalking是一个开源的应用性能监控(Application Performance Monitoring,APM)工具…

TCP服务建立的全流程详解

TCP的服务监听步骤(等待客户端连接前)TCP 服务器通过以下步骤完成从初始化到等待客户端连接,为后续的数据传输(send()/recv())奠定了基础一、创建套接字(Socket)作用:套接字是网络通…

数据结构 双链表与LinkedList

本节目标: 认识并且能够实现一个双链表认识LinkedList类并且知道如何去使用 1.双链表 概念 在数据结构中,双链表(Doubly Linked List) 是一种常见的线性数据结构,它由一系列节点组成,每个节点不仅包含数据…

如何解决 JetBrains IntelliJ IDEA 2024.2 和 2025.2 新版本区域选择问题:key is invalid

如何解决 JetBrains IntelliJ IDEA 2024.2 和 2025.2 新版本区域选择问题:key is invalid 在 JetBrains 发布的 IntelliJ IDEA、PyCharm 2024.2 和 2025.2 新版本中,增加了一个新的功能——区域选择。在设置菜单中,你可以找到这一选项&#…

GSON 框架下百度天气 JSON 数据转 JavaBean 的实战攻略

目录 前言 一、百度天气JSON 1、请求参数 2、返回参数 3、属性映射 二、GSON属性映射实战 1、类对象映射 2、属性字段映射 3、日期数据映射 三、天气接口对象展示 1、接口调用 2、Java属性打印输出 四、总结 前言 在当今数字化时代,数据的高效处理与转换…

NAS技术在县级融媒体中心的架构设计与安全运维浅析

NAS技术在县级融媒体中心的架构设计与安全运维浅析 ——原理剖析、应用实践与防御体系建设作者:高级网络安全工程师 吉林•镇赉融媒 刘晓伟 最后更新:2025年8月 适用对象:媒体行业网络安全从业者一、NAS技术核心原理剖析 1. 基础架构 NAS&am…

CobaltStrike的搭建和使用

下载CobaltStrike环境建议使用jdk17,其他java版本有些功能可能无法使用通过网盘分享的文件:CS4.7key-mht.zip 链接: https://pan.baidu.com/s/1CRd1x4r6EIk14BD3UCLgxw?pwdevf4 提取码: evf4将下载的文件分别放在服务器和 本地/kali 上 也就是服务器为…

【Altium designer】一键给多个器件添加参数

目的: 一键给N个元器件/Part添加参数和修改参数值,比如一键给多个电阻添加“备注”并赋予备注的内容为“不焊接”,或者更改“备注”的内容为“不焊接”或空。 背景: 刚入门用AD画原理图,因为原理图的电阻、电容和芯片等等的冗余/兼容设计太多,增加备注不焊的元器件位号…