GaussDB 数据库架构师修炼(二)数据库计算容量评估

1 计算资源容量评估主要流程

一般地是经过以下5个流程评估GaussDB的计算容量:

2 TPC-C基准测试介绍

 1)TPC-C是业界常用的一套Benchmark

 由TPC  (Transaction  Processing  Performance Council)委员会制定发布,用于 评测数据库的联机交易处理(偏向OLTP)能力,测试结果数据并不代表生产   业务的多样性,仅供容量评估参考。

2)TPC-C模拟一个批发商的货物管理环境

 该批发公司有N个仓库,每个仓库供应10个地区,其中每个地 区为3000名顾 客服务。在每个仓库中有10个终端,每一个终端用于一个地区。

3)五种交易类型以及比例

请求类型

描述

比例

New-Oder新订单

客户输入一笔新的订货交易

45%

Payment 付款

更新客户账户余额以反映其支付状况

43%

Delivery 发货

发货(模拟批处理交易)

4%

Order-Status 订单查询

查询客户最近交易的状态

4%

Stock-Level 查库存

查询仓库库存状况,以便能够及时补货

4

3 度量单位tpmC  、tpm和tps的定义和换算公式

tpmC

 每分钟内系统处理的新订单个数,tpm是transactions  per  minute的简称, C标 识了TPC中的C基准程序。注意:新订单请求只占全部事务请求的45% 。

tpm

 每分钟处理的事务个数, transactions  per minute的简称

tps

 每秒处理的事务个数, transactions  per second的简称

 换算公式: 1tpmC =  (1/0.45)/60 tps

吞吐量

由于新订单占比固定为45%,实际系统总吞吐量约为tpmC值的2.2倍(例如1000tpmC对应每分钟处理约2200个事务)


吞吐量=tpmc*2.22

4 如何调研客户业务系统tps要求

  4.1 存量业务替换数据库场景

  主流关系型数据库都可以查询tps指标,可以找DBA统计存量数据库核心时间段 平均tps。

  4.2 新建业务规划数据库场景

        1)估算系统每天的业务量T0

     比如系统拥有用户1000w,每天20%用户操作平均使用3次, T0  =  1000w ×0.2 ×3  = 600w 业务量。

        2)估算系统每天的核心时间段计算每分钟业务量T1 

      比如80%业务处理时间分布在上午10: 00-12: 00和下午14:00-16:00,T1  = T0  × 0.8 ÷ ( 4  × 60)=  600w   × 0.8 ÷( 4   × 60)=  2w  每分钟业务量

       3)估算系统每次核心业务操关联的事务个数 n 

   比如每个核心业务操作会产生6个数据库事务,那么n  = 6 

      4)计算系统需要每分数据库事务tpm =  (T1 × n)  =  12w 

   业务初始需求tps  = tpm  ÷ 60 = 2000

5  如何评估业务系统事务量扩展策略 

  根据每年业务系统事务量增长情况评估扩展策略

5.1 存量业务替换数据库场景


可以根据业务系统历史数据统计每年事务的平均增长。


5.2 新建业务规划数据库场景


   需要根据客户业务发展计划预测。比如某企业客户A的某业务系统内部使用,比较稳定,无需考虑扩展。
   比如某金融客户B的某业务系统预计每年同比增长20%,需要考虑未来3年的算 力扩展需求。
           业务需求tps = 初始需求tps  × 1.2  × 1.2  × 1.2 
  比如某互联网客户C的某业务系统预计每年同比增长200%,需要考虑未来3年 的算力扩展需求。
          业务需求tps = 业务初始需求tps  × 3  × 3   × 3 
 

计算公式:

业务需求tps =业务初始需求tps  ×( 1 + 年平均增长百分比)年数 

6 如何评估业务系统事务量预留策略

服务器资源预留比例不同企业的数据中心要求不一样,一般建议CPU 和内存利用率小于70% 。

比如某金融客户A的某业务系统,要求资源利用率平均小于50% 

     业务需求tps =业务初始需求tps  ÷ 0.5

比如某互联网客户B的某业务系统,要求资源利用率平均小于70% 

    业务需求tps =业务初始需求tps  ÷ 0.7 

计算公式

业务需求tps = 业务初始需求tps  ÷ 资源利用率控制水位

7 如何评估生产系统和TPC-C模型复杂度差异

1)不同客户生产系统的业务模型也不一样,和TPC-C的模型差异或大或 小,业界并无固定算法。

 2)客户可以根据自身行业的业务特征验证积累“行业经验系数”进行折算

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/89190.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/89190.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源 python 应用 开发(六)网络爬虫

最近有个项目需要做视觉自动化处理的工具,最后选用的软件为python,刚好这个机会进行系统学习。短时间学习,需要快速开发,所以记录要点步骤,防止忘记。 链接: 开源 python 应用 开发(一&#xf…

flink sql读hive catalog数据,将string类型的时间戳数据排序后写入kafka,如何保障写入kafka的数据是有序的

在 Flink SQL 中,要确保从 Hive 读取的 STRING 类型时间戳数据排序后有序写入 Kafka,需要结合 批处理模式、时间类型转换、单分区写入 和 Kafka 生产者配置。以下是完整解决方案: 一、核心解决方案 1. 批处理模式 全局排序 将作业设置为批处…

7.17 滑动窗口 |assign |memo

lcp56. memo优化tle或者改用bfsclass Solution {int m, n;int dx[4] {0, 0, 1, -1};int dy[4] {1, -1, 0, 0};public:int conveyorBelt(vector<string>& matrix, vector<int>& start, vector<int>& end) {int ret INT_MAX;m matrix.size();n…

统计功效是什么?

统计功效的通俗理解可以把“统计功效”想象成侦探破案的能力——它代表统计检验&#xff08;侦探&#xff09;在犯罪事实确实存在&#xff08;真实效应存在&#xff09;时&#xff0c;成功发现真相&#xff08;检测出效应&#xff09;的概率。核心比喻假设你是一个侦探&#xf…

大语言模型(LLM)训练的教师强制(Teacher Forcing)方法

大语言模型&#xff08;LLM&#xff09;在训练时使用一种名为“教师强制&#xff08;Teacher Forcing&#xff09;”的方法&#xff0c;而不是它们在推理&#xff08;生成文本&#xff09;时使用的“自回归&#xff08;Autoregressive&#xff09;”方法 。阐明关于LLM训练的一…

归一化与激活函数:深度学习的双引擎

归一化和激活函数区别 归一化和激活函数是深度学习中两个不同但又存在关联的技术,前者聚焦于“数据分布的调整”,后者聚焦于“引入非线性与输出转换”。 Softmax 既可以被视为一种归一化操作,也属于激活函数 因为它同时满足两者的核心特征,只是从不同角度定义:从“输出…

C# --- 单例类错误初始化 + 没有释放资源导致线程泄漏

C# --- 单例类错误初始化 没有释放资源导致线程泄漏Background原因分析问题一&#xff1a; 错误初始化&#xff08;使用了箭头函数&#xff09;问题一&#xff1a; 没有Dispose资源Background 背景: service A的其中一个Api会向mq发送消息问题&#xff1a;线上发现这个服务经常…

MySQL基础学习之DML,DQL(二)

这里写目录标题一、DML1、INSERT语句1)、给指定列添加数据2)、给全部列添加数据3)、批量数据添加数据4)、操作2、UPDATE语句3、DELETE语句二、DQL1、单表查询1&#xff09;查询语法2&#xff09;查询全部3&#xff09;查询部分4&#xff09;条件查询5&#xff09;聚合函数6&…

在 Linux 系统中实现 Spring Boot 程序自动启动的最佳实践

在实际部署 Spring Boot 项目的生产环境中&#xff0c;如何确保服务自动启动&#xff08;如开机自动运行、宕机自动恢复&#xff09;是一项基础而关键的运维能力。本文将系统介绍如何在 Linux 中将 Spring Boot 应用注册为 systemd 服务&#xff0c;实现进程守护与自动启动。&a…

如何建立项目团队的自驱力文化?

建立项目团队的自驱力文化&#xff0c;关键在于赋权机制、目标共创、持续反馈、内在激励、价值认同。 其中&#xff0c;“目标共创”尤其重要。项目成员若未参与目标制定&#xff0c;仅被动接受任务&#xff0c;将很难激发责任感和参与热情。反之&#xff0c;通过共创目标&…

【React Native】布局文件-底部TabBar

布局文件-底部tabBar 内容配置 export default function Layout() {return (<Tabs />); }默认会将布局文件是将与它在同一个目录的所有文件&#xff0c;包括下级目录的文件&#xff0c;全都配置成Tab了。&#xff1a; 这样做显然不对&#xff0c;正确的做法是 在app目…

CompareFace使用

CompareFace 使用 CompareFace 有三种服务&#xff0c;分别是人脸识别&#xff08;RECOGNITION&#xff09;、人脸验证&#xff08;VERIFICATION&#xff09;、人脸检测&#xff08;DETECTION&#xff09;。 人脸识别其实就是人脸身份识别(每张照片只有一个人脸)&#xff0c;…

APP测试之Monkey压力测试

&#xff08;一&#xff09;Monkey简介 Monkey意指猴子&#xff0c;顽皮淘气。所以Monkey测试&#xff0c;顾名思义也就像猴子一样在软件上乱敲按键&#xff0c;猴子什么都不懂&#xff0c;就爱捣乱。 Monkey 是 Android SDK 自带的命令行工具&#xff0c;它通过向系统发送伪…

时序大模型为时序数据库带来的变革与机遇

时序数据&#xff08;Time Series Data&#xff09;作为记录系统状态随时间变化的重要数据类型&#xff0c;在物联网、金融交易、工业监控等领域呈爆炸式增长。传统时序数据库专注于高效存储和查询时序数据&#xff0c;而时序大模型&#xff08;Time Series Foundation Models&…

深入核心:理解Spring Boot的三大基石:起步依赖、自动配置与内嵌容器

深入核心&#xff1a;理解Spring Boot的三大基石&#xff1a;起步依赖、自动配置与内嵌容器 摘要&#xff1a;在上一章&#xff0c;我们领略了Spring Boot带来的革命性开发体验。但魔法的背后&#xff0c;必有其科学的支撑。本章将带你深入Spring Boot的内核&#xff0c;系统性…

达梦数据库配置兼容MySQL

前言 作为一名数据库管理员或开发者&#xff0c;当项目需要从MySQL迁移到达梦数据库时&#xff0c;最关心的莫过于兼容性问题。达梦作为国产数据库的佼佼者&#xff0c;提供了良好的MySQL兼容模式&#xff0c;今天我就来分享一下如何配置达梦数据库以实现对MySQL的兼容。 一、为…

js与vue基础学习

vue创建项目 安装node安装node、npm、cnpm node -v npm -v #npm服务器位置处于国外&#xff0c;下载包的速度会比较缓慢。阿里为国内用户提供的cnpm&#xff0c;他是npm的镜像&#xff0c;下载第三方包时&#xff0c;们完全可以使用cnpm来替代npm。 cnpm -v在node中执行JavaScr…

【开源.NET】一个 .NET 开源美观、灵活易用、功能强大的图表库

文章目录一、项目介绍二、适用场景三、功能模块四、功能特点五、效果展示六、开源地址一、项目介绍 LiveCharts2 是一个开源、简单、灵活、交互式且功能强大的 .NET 图表库。LiveCharts2 现在几乎可以在任何地方运行&#xff1a;Maui、Uno Platform、Blazor-wasm、WPF、WinFor…

使用Whistle自定义接口返回内容:Mock流式JSON数据全解析

一.mock接口返回数据流程 定位目标接口 在Whistle的Network面板中找到需要Mock的接口&#xff0c;右键点击请求信息&#xff0c;选择COPY -> URL复制完整URL&#xff0c;确保URL路径精确到具体接口。准备Mock数据 点击对应接口&#xff0c;在右侧面板切换到response标签页&a…

【前端】富文本编辑器插件 wangEditor 5 基本使用(Vue2)

https://www.wangeditor.com/v5 一、安装 首先安装editor yarn add wangeditor/editor # 或者 npm install wangeditor/editor --save安装Vue2组件 yarn add wangeditor/editor-for-vue # 或者 npm install wangeditor/editor-for-vue --save或者Vue3 yarn add wangeditor/…