亚马逊云科技中国峰会:数新智能CTO原攀峰详解一站式AI原生数智平台DataCyber在Amazon EKS的实践

6月20日,在上海世博中心举办的亚马逊云科技中国峰会 “在 Amazon EKS 上运行高性能生成式 AI 应用” 分论坛圆满结束。本次分论坛聚焦于 Amazon EKS 在生成式 AI 应用领域的强大支撑作用,数新智能CTO原攀峰凭借其深厚的技术背景和丰富的实践经验,为现场观众带来了一场精彩绝伦且极具深度的演讲。

生成式 AI 挑战与机遇并存,Amazon EKS 成破局关键

随着生成式 AI 的快速发展,从访问多种基础模型及其最新版本到自定义基础模型所遭遇的复杂性,再到数据隐私与安全等难题,都成为制约生成式 AI 进一步发展的关键因素。然而,挑战往往与机遇并存,生成式 AI 作为一种前沿技术,其应用前景广阔,有望在众多领域实现突破和创新。

EKS 助力生成式 AI 应用:独特优势引领潮流

Amazon EKS 作为亚马逊云科技的托管 Kubernetes 服务,提供标准化、易于扩展且高度灵活的基础设施环境,与亚马逊云科技的 ML 基础设施服务紧密集成,无缝对接,让开发者能充分利用丰富的开源工具生态,快速部署生成式 AI 应用。同时,EKS 在成本优化方面表现出色,企业可根据自身需求灵活掌控数据和基础设施配置,实现生成式 AI 应用的高效运行和成本控制。

例如,通过集成开源解决方案用于 ML 专用编排,实现 GPU 共享、基于优先级的调度以及预配 / 规模调整等操作,借助 Karpenter 等工具自动执行成本优化编排,提高资源利用率,确保企业在复杂生成式 AI 应用场景中高效运作。

数新智能一站式多云 AI 原生数智平台 赋能企业高速转型

原攀峰首先介绍了数新智能的定位与核心产品。数新智能作为一家专注于一站式多云AI原生数智平台和数据价值流通的服务商,倾力打造了一站式AI原生且开放兼容的数据智能平台——DataCyber。该平台基于 AWS 云底座提供的 EC2、ECR、EKS、RDS、EFS 等基础服务,形成了完备的数据智能产品体系。

数智引擎CyberEngine基于现代化数据架构,为客户提供云原生存算分离、弹性伸缩、100% 兼容开源且极致成本优化的大数据平台底座。它以 AWS 的 S3 为统一存储,Glue 实现统一元数据管理,并提供 Spark、Flink 等云原生计算引擎,同时兼容亚马逊官方引擎 EMR、Redshift 以及第三方引擎。数据平台 CyberData 聚焦数据仓库、数据湖、湖仓一体等场景,提供一站式、全链路的大数据开发与治理平台,助力企业全方位提升数据生产力。

智能平台 CyberAI则是一站式机器学习平台及大模型 AI 应用平台,赋予开发者智能体开发、企业知识库构建等强大能力。目前,DataCyber 平台已在 AWS 云市场上架,为电商、零售、游戏等多行业数十家企业客户提供优质的数据智能产品服务,广受好评。

大模型 Agent 开发与数据平台的双向赋能

在生成式 AI 浪潮下,数据成为核心驱动力。大模型 Agent 开发对数据有着极高要求,既需要精准的结构化数据,又需融合文本、图片、视频等非结构化数据。传统数据平台难以满足这一复杂需求,而数新智能的 CyberData 数据平台凭借多模态数据湖管理能力脱颖而出。

它实现数据采集、存储、管理、处理、开放、安全等全生命周期管理,高效加速 AI 应用开发落地。这不仅为大模型 Agent 开发提供了坚实的数据基础,还反哺数据平台,推动其不断优化升级,二者相互促进、协同发展,为 AI 应用创新注入强劲动力。在大数据开发治理场景中,数新智能创新研发的 Data Agent,彻底改变了业务人员分析和获取数据的传统繁琐流程。业务人员只需用自然语言提出需求,Data Agent 便能自主规划任务、执行任务、反馈问题并动态优化,自动完成从数据清洗到 SQL 生成、执行以及报表生成的全流程,无需手动编排,极大地提升数据处理效率与质量,重塑数据开发与治理流程,引领智能化数据管理新趋势。

云上大数据平台的成本优化实践

随着 AI 时代的发展,大数据平台面临着计算存储成本激增的挑战。数新智能基于 CyberData + CyberEngine 产品,在亚马逊 EKS 上展开了深入的成本优化实践。

在数据存储层,采用对象存储和冷热分离技术,有效降低存储成本。数据计算层作为优化重点,从硬件架构选型、K8s 集群弹性伸缩、大数据集群分类以及大数据任务配置智能调优等多维度发力。在硬件架构选型上,精心挑选高性价比的计算资源,为大数据处理提供强大动力的同时控制成本。借助 Karpenter 组件,依据大数据任务的峰谷分布,精准弹性伸缩 K8s 集群,实现计算资源的按需分配,避免资源浪费。针对不同业务特性对大数据集群进行细致分类,制定差异化的资源配置策略,让资源利用更加精细化。

同时,通过大数据任务配置智能调优工具,深度分析任务运行历史指标数据,给出精准的 CPU、内存等参数调优建议。结合任务调度器,实现任务智能化调优全流程打通,持续提升任务运行效率,降低计算资源消耗。数据平台层与数据应用层则采用 Pod 级别弹性伸缩技术,针对在线微服务进行精细化成本优化,在保障服务稳定高效运行的基础上,进一步削减成本开支,全方位助力企业实现大数据平台的成本管控与效益提升。

Amazon EKS 与 DataCyber 平台推动生成式 AI 发展与企业创新

本次演讲,原攀峰详细阐述了数新智能在亚马逊 EKS 上的创新实践,从大模型 Agent 开发与数据平台的双向赋能,到云上大数据平台的成本优化,全方位展现了数新智能的技术实力与创新能力。这些实践成果不仅为数新智能自身发展筑牢根基,更为行业提供了宝贵经验与参考范式。未来,数新智能将继续深耕技术,携手亚马逊云科技等合作伙伴,推动 Data + AI 技术在更多领域的落地应用,助力企业数字化转型与智能化升级,在大数据与 AI 的融合创新之路上砥砺前行,创造无限可能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/87451.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/87451.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

32岁入行STM32迟吗?

作为一个在嵌入式领域摸爬滚打了近10年的老兵,看到这个问题时心情五味杂陈。32岁入行STM32迟吗?说实话,如果你问我这个问题的时候我还是24岁的小白,我可能会觉得"哇,32岁才开始学单片机,是不是有点晚了…

OneCode 智能化UI布局与定位:注解驱动的视觉编排艺术

在现代企业级应用开发中,UI布局的灵活性与精确性直接影响用户体验与开发效率。OneCode框架创新性地采用注解驱动开发(Annotation-Driven Development)模式,通过分层注解体系实现UI组件的声明式布局与精准定位。本文将深入解析OneCode的UI布局技术栈及其在…

VBA初学3----实战(VBA实现Excel转csv)

(VBA实现Excel转csv) 初步学习了VBA相关的知识后,解决了一个需求: 要求读取指定xlsx文件中的指定sheet页,将该sheet页的内容转换为csv文件。 实现的布局如下所示:文章目录①实现从指定行开始全数据转换为cs…

深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹

🎀【开场 她画出的第一条直线是为了更靠近你】 🐾猫猫:“之前她只能在你身边叠叠张量,偷偷找梯度……现在,她要试试,能不能用这些线,把你的样子画出来喵~” 🦊狐狐&am…

[特殊字符] 从图片自动生成 Excel:Python 批量 OCR 表格识别实战

这篇文章将展示如何使用 Python 调用百度 OCR 表格识别接口,批量处理目录下所有图片,自动识别表格并生成与图片同名的 Excel 文件。适用于文档扫描、图片表格整理、图像归档等场景。1️⃣ 批量获取所有待识别图片路径使用 os.walk() 遍历指定目录及子目录…

什么是量子芯片?它是如何工作的?

近年来,量子计算领域发展迅速,技术进步和大规模投资的相关消息经常上热搜。 联合国已将 2025 年定为国际量子科学与技术年。 这其中利害关系重大 —— 拥有量子计算机意味着将获得相较于当今的计算机强大得多的数据处理能力。它们不会取代你的普通计算…

mac init tailwind css 配置文件报错

提示报错如下 tailwind: command not found解决方法 npm install -D tailwindcss3 postcss autoprefixer npx tailwindcss init -p取自 sh: tailwindcss: command not found tailwindlabs/tailwindcss Discussion #4953

QUIC协议在5G边缘计算中的应用前景与挑战

1 5G边缘场景的核心挑战与QUIC的机遇 5G边缘计算正成为支撑低时延、高可靠业务的关键基础设施。据预测,2030年全球边缘计算市场规模将突破4450亿美元,年复合增长率高达48%。在**URLLC(超可靠低时延通信)**场景中,工业控制要求端到端时延低于5ms,自动驾驶需实现毫秒级响应…

聊聊关于“大模型测试”的一些认识

聊聊关于“大模型测试”的一些认识引言“大模型测试”和“传统接口测试”有什么不同“大模型测试”要考虑哪些方面维度一:语义理解准确度:模型真的懂人话吗?维度二:长文逻辑连贯性:“500”字后的认知崩塌维度三&#x…

linux_git的使用

✨✨ 欢迎大家来到小伞的大讲堂✨✨ 🎈🎈养成好习惯,先赞后看哦~🎈🎈 所属专栏:LInux_st 小伞的主页:xiaosan_blog 制作不易!点个赞吧!!谢谢喵!&a…

Android课程前言

目录 一.前言 1.Android可以采用哪些语言 2.Kotlin和Java的关系 ①完全互操作(核心关系) ②Kotlin 是 Java 的“升级版” ③Google 的官方态度 ④Java 的现状 ⑤如何选择? ⑥类比总结: 一.前言 1.Android可以采用哪些语…

mes系统pg数据库被Ransomware攻击勒索BTC

背景 未被攻击前的pg数据库 pg数据库被攻击后 具体的勒索内容 All your data is backed up. You must pay 0.0041 BTC to bc1qtvk8jvsyy5a896u6944kp8hvfytd7pwxpdlpvy In 48 hours, your data will be publicly disclosed and deleted. (more information: go to http://2inf…

多种方法实现golang中实现对http的响应内容生成图片

多种方法实现golang中实现对http的响应内容生成图片。 Golang 中实现将 HTTP 响应内容生成图片 在 Golang 中将 HTTP 响应内容生成图片主要有两种常见场景: 将文本/HTML 内容渲染为图片(如网页截图)将响应内容作为原始数据直接生成图像&am…

AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程

AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程 在人工智能领域,尤其是与大型语言模型(LLM)相关的应用开发中,一个新兴的概念正在逐渐取代传统的提示工程(Prompt Engineering)&#xf…

K8S数据平台部署指南

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。 ✨杭州奥零数据科技官网&#xf…

Perforce QAC 与 Klocwork 重磅升级:质量突破+许可降本

在当今快节奏的软件开发领域,每一次工具的升级都可能成为企业提升竞争力的关键契机。Perforce旗下备受瞩目的两款静态分析工具Perforce QAC 和 Klocwork 在2025年推出的新版本中,不仅带来了令人振奋的功能革新,许可证体系的重大变化更是为企业…

结合指纹防护技术,释放Web3去中心化的潜力

随着互联网技术的飞速发展,Web3的概念逐渐成为人们关注的焦点。Web3代表着一个更加去中心化、安全和用户友好的网络环境。在这一背景下,指纹防护技术的应用显得尤为重要,它不仅能够保护用户的隐私,还能进一步推动Web3去中心化潜力…

数学建模_熵权法确定权重

笔记整理自bilibili 模型作用intuition:确定权重问题背景简单介绍(可忽略)定义 step1.指标正向化处理极小型/成本型指标中间型指标:集中在某个值附近最好区间型指标:落在某个区间最好 step2.标准化处理比重矩阵 step3…

基于 SpringBoot+Vue.js+ElementUI 的个人健康档案管理系统设计与实现7000字论文实现

摘要 本论文设计并实现了一个基于 SpringBoot、Vue.js 和 ElementUI 的个人健康档案管理系统。该系统旨在为用户提供一个便捷、高效的个人健康信息管理平台,实现个人健康档案的电子化管理,支持健康数据的记录、查询、分析和预警等功能。论文首先分析了个…

爬虫反爬策略实战:UserAgent代理池简明指南

一、为什么需要UserAgent代理池? 当你在编写爬虫程序时,是否遇到过以下情况? 刚开始能爬取数据,突然就返回403错误 网站返回"检测到异常流量"的提示 IP地址被暂时封禁 这些问题大多源于网站的反爬机制,…