Starrocks存算一体和存算分离

网上整理了一下starrocks两种部署方式的区别差异性,个人感觉生产环境还是尽量存算分离部署,防止资源争夺等问题影响线上生产数据,虽然存算一体部署起来更方便一些


📊 1. 架构设计

  • 存算一体

    • 节点类型:仅包含 FE(Frontend)和 BE(Backend)两类节点。
    • 数据存储:BE 节点同时负责数据存储和计算,数据本地化存储在节点磁盘中。
    • 数据分布:数据通过分区分桶(Tablet)机制分散在多个 BE 节点上,默认三副本保证高可用。
  • 存算分离

    • 节点类型:FE 和 CN(Compute Node)两类节点,BE 被无状态的 CN 取代。
    • 数据存储:数据持久化在外部低成本存储(如 AWS S3、HDFS、OSS),CN 仅负责计算和缓存热数据。
    • 缓存机制:CN 通过三级缓存(内存 → 本地磁盘 → 远端存储)动态管理热数据,减少 I/O 延迟。

2. 性能表现

  • 存算一体

    • 优势:数据本地化减少网络传输,适合实时分析和高并发查询,延迟可低至毫秒级。
    • 瓶颈:扩容需数据重分布,可能影响服务连续性;存储与计算绑定,资源利用率低。
  • 存算分离

    • 优化能力:3.1 版本后,通过智能缓存(Data Cache)和向量化引擎,查询性能追平存算一体(缓存命中时)。
    • 冷数据挑战:未命中缓存的查询需从远端拉取数据,延迟增加约 50%(但可通过预取策略缓解)。

💰 3. 成本与弹性

  • 成本

    • 存算分离的存储成本降低 70–80%(对象存储单价远低于本地 SSD。
    • 存算一体的存储需多副本冗余,扩容时需同步增加计算资源,综合成本更高。
  • 弹性

    • 存算分离支持 秒级扩缩容:CN 节点增减无需数据迁移,适合业务峰谷场景。
    • 存算一体扩容需数据重平衡,可能耗时数小时。

🛠️ 4. 运维复杂度

  • 存算一体
    • 需管理数据分片、副本均衡,运维复杂度较高。
  • 存算分离
    • 架构简化(仅 FE + CN + 对象存储),但需维护外部存储系统(如 S3 权限、HDFS 配置)。
    • 支持 K8s 部署,更适合云原生环境。

🔧 5. 功能支持

  • 核心功能对齐
    • 3.1 版本后,存算分离已支持全部表模型(主键表、聚合表等)、物化视图、数据湖分析等功能。
  • 特有优势
    • 存算分离支持 虚拟数仓(Multi-Warehouse),实现计算资源隔离与共享数据。
    • 存算一体在部分列更新(Update)场景仍有约 20% 性能优势。

📌 6. 适用场景

场景存算一体存算分离
实时分析✅ 毫秒级响应(如风控场景)⚠️ 依赖缓存命中率
低成本存储❌ 存储成本高✅ 对象存储成本优势显著
弹性伸缩需求❌ 扩容慢✅ 秒级扩缩容
数据湖集成⚠️ 需数据导入✅ 直接分析 Iceberg/Hudi
高频数据更新✅ 更优的部分列更新性能⚠️ 3.1 版本后基本持平

💎 总结建议

  • 选择存算一体:业务需极致实时性能、数据更新频繁,且资源预算充足。
  • 选择存算分离:追求存储成本优化、弹性伸缩能力,或需深度集成数据湖

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/86969.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/86969.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多线程编程 ----线程主动退出pthread_exit与线程被动退出pthread_cancel

主动退出 pthread_exit 与 pthread_cancel 的区别 1. 核心区别 特性pthread_exitpthread_cancel调用者线程自身调用,主动退出。其他线程调用,异步请求终止目标线程。行为方式立即终止线程,资源需手动释放。发送取消请求,线程在取…

电脑开机加速工具,优化启动项管理

软件介绍 今天为大家推荐一款专业的电脑启动项管理工具,这款软件能有效优化电脑开机速度,帮助用户管理开机自启动程序。 使用方式 软件无需安装,以管理员身份直接双击运行即可使用。为确保安全,软件特别设计为不添加注册表…

设备管理的11个指标、七大误区、六大特征

1、设备的完好率 在这些指标里用得最多,但其对管理的促进作用有限。所谓的完好率,是在检查期间,完好设备与设备总台数的比例(设备完好率=完好设备数/设备总数)很多工厂的指标可以达到95%以上。理由很简单,在检查的那一刻,如果设备是运转的,没出故障,就算是完好的,于…

11OAuth2

目录 本节大纲 一、OAuth2 简介 二、OAuth2 授权总体流程 三、四种授权模式 授权码模式 简化模式 密码模式 客户端模式 四、OAuth2 标准接口 五、GitHub 授权登录 1. 创建 OAuth 应用 2. 项目开发 六、Spring Security OAuth2 七、授权、资源服务器 1. 授权服务器…

Github Copilot协助解决cucumber插件不支持async/await

一、提示词 问题描述 在使用了badeball/cypress-cucumber-preprocessor插件后,存在不支持nodejs原生的promise和async/await语法问题 执行用例命令 npx cypress run --env configFilemhesi-staging,TAGS"API005" --spec "cypress/integration/AL…

C++多线程【Linux】

Linux的多线程 Linux的子线程实际上也是个进程&#xff0c;但是比传统的进程轻量化。 pthread pthread是用于Linux系统下的线程库&#xff0c;头文件是<pthread.h>。C11 之前的多线程开发高度依赖平台原生 API&#xff0c;Windows 以 CreateThread 和内核对象为核心&am…

Windows 环境下 NVM 命令详解:多版本 Node.js 管理利器

“一个 Node.js 版本走天下&#xff1f;太局限了&#xff01;试试 nvm&#xff0c;版本切换如丝般顺滑。” 什么是 NVM NVM&#xff08;Node Version Manager&#xff09;是一个命令行工具&#xff0c;允许你安装并在多个 Node.js 版本之间自由切换。 在 Linux/macOS 下常用的…

一二级路由之间的传参方式以及高亮问题

实现如下图所示的一二级路由的高亮情况&#xff1a; 在一级路由APP.vue下设置&#xff1a; .head a.router-link-active {background-color: rgb(235, 221, 204); }在二级路由Mycenter.vue下设置&#xff1a; /* 要求在点击跳转到mycenter_lianxi页面时候父路由保持高亮…

前端JavaScript力扣HOT100刷题【51-100】

注&#xff1a;纯手打&#xff0c;如有错误欢迎评论区交流&#xff01; 转载请注明出处&#xff1a;https://blog.csdn.net/testleaf/article/details/148953015 编写此文是为了更好地学习前端知识&#xff0c;如果损害了有关人的利益&#xff0c;请联系删除&#xff01; 本文章…

智能制造数字孪生集成交付生态链:智慧产线极速克隆,孪生重构生产周期

在智能制造的浪潮中&#xff0c;数字孪生技术正以前所未有的速度重塑制造业的生产模式。从产品设计到生产制造&#xff0c;再到运维管理&#xff0c;数字孪生通过构建物理世界的虚拟镜像&#xff0c;实现了生产全流程的数字化映射与优化。 山东融谷信息以“智能制造数字孪生集成…

非常详细版: dd.device.geolocation 钉钉微应用获取定位,移动端 PC端都操作,Vue实现钉钉微应用获取精准定位并渲染在地图组件上

dd.device.geolocation 钉钉微应用获取定位,钉钉微应用获取精准定位并渲染在地图组件上 ,手机端 PC端要都可用 【dd.device.geolocation是需要鉴权的哦】 想要的数据和效果图 想要的数据格式 代码 <template><div class="dialogStyles"

鸿蒙5:组件状态共享

目录 1. 组件状态共享 1.1 状态共享-父子传值&#xff1a;Local、Param、Event 1.2 状态共享-父子双向绑定!! 1.3 跨代共享&#xff1a;Provider和Consumer 1.3.1 aliasName和属性名 1.3.2 实现跨代共享 1.3.3 装饰复杂类型&#xff0c;配合Trace一起使用 1.3.4 支持共…

【MySQL】12. C语言与数据库的连接

1. 下载MySQL的连接库 sudo apt install -y libmysqlclient-dev 2. MySQL连接库的常用接口介绍 通过下面的样例了解MYSQL的常用接口&#xff1a; #include <iostream> #include <mysql/mysql.h> using namespace std;const char *host "localhost";…

[springboot系列] 探秘JUnit 5: Java单元测试利器

介绍 JUnit 5 是一个用于 Java 编程语言的单元测试框架&#xff0c;它是 JUnit 框架的第五个版本&#xff0c;与 JUnit 4 相比&#xff0c;JUnit 5 提供了许多改进和新特性&#xff0c;包括更好的扩展性、灵活性和对现代 Java 特性的支持。 JUnit 5 由三个主要的子模块组成&a…

开源 java android app 开发(十三)绘图定义控件、摇杆控件的制作

文章的目的为了记录使用java 进行android app 开发学习的经历。本职为嵌入式软件开发&#xff0c;公司安排开发app&#xff0c;临时学习&#xff0c;完成app的开发。开发流程和要点有些记忆模糊&#xff0c;赶紧记录&#xff0c;防止忘记。 相关链接&#xff1a; 开源 java an…

Python 库 包 sentence-transformers

sentence-transformers 是一个非常流行的 Python 库&#xff0c;专门用于将文本&#xff08;句子、段落、文档&#xff09;转换为高质量的语义向量&#xff08;嵌入&#xff09;。它基于 Transformer 架构&#xff08;如 BERT、RoBERTa、DistilBERT 等&#xff09; 的预训练模型…

《聚类算法》入门--大白话篇:像整理房间一样给数据分类

一、什么是聚类算法&#xff1f; 想象一下你的衣柜里堆满了衣服&#xff0c;但你不想一件件整理。聚类算法就像一个聪明的助手&#xff0c;它能自动帮你把衣服分成几堆&#xff1a;T恤放一堆、裤子放一堆、外套放一堆。它通过观察衣服的颜色、大小、款式这些特征&#xff0c;把…

AutoGen(五) Human-in-the-Loop(人类在环)实战与进阶:多智能体协作与Web交互全流程(附代码)

AutoGen Human-in-the-Loop&#xff08;人类在环&#xff09;实战与进阶&#xff1a;多智能体协作与Web交互全流程&#xff08;附代码&#xff09; 引言&#xff1a;AI自动化的极限与人类参与的价值 在大模型&#xff08;LLM&#xff09;驱动的AI应用开发中&#xff0c;完全自…

并查集 Union-Find

目录 引言 简单介绍 浅浅总结 算法图解 初始化 根节点查找 集合合并 连通性检查 例题 大概思路 完整代码&#xff1a; 引言 一个小小的并查集让我们在ccpc卡了那么久(还有unordered_map,如果不是忘了map自动排序这么一回事也不至于试那么多发)&#xff0c;至今仍然心有…

书籍在行列都排好序的矩阵中找数(8)0626

题目&#xff1a; 给定一个有N*M的整型矩阵matrix和一个整数K&#xff0c;matrix的每一行和每一列都是排好序的。实现一个函数&#xff0c;判断K是否在matrix中。 0 1 2 5 2 3 4 7 4 4 4 8 5 …