双倍硬件=双倍性能?TDengine线性扩展能力深度实测验证!

软件扩展能力是软件架构设计中的一个关键要素,具有良好扩展能力的软件能够充分利用新增的硬件资源。当软件性能与硬件增加保持同步比例增长时,我们称这种现象为软件具有线性扩展能力。要实现这种线性扩展并不简单,它要求软件架构精心设计,能够最大化硬件性能的利用,同时减少内部资源消耗。这需要对现有架构进行深入的优化和调整。

测试目的

验证在带宽、IO 及内存不是瓶颈,仅 CPU 是瓶颈的情况下,写入速度应与 CPU 核数成正比。

测试方法

测试系统:使用 TDengine 官网发布的 docker 镜像,TDengine 版本为 V3.3.0.0

测试工具:taosBenchmark

表结构:TDengine 官网智能电表结构

增加 CPU 核数方法:docker 绑定固定数量 CPU 技术

两阶段配置方法:

1 ~ 4 核 VGROUP 为 4 ,写入线程数为 4

5 ~ 12 核 VGROUP 为 12 ,写入线程数为 12

使用两阶段配置,让 CPU 始终保持在瓶颈状态

测试参数

数据库:1 个

超级表:1 个

子表数:100 个

每子表行数:100W

总数据量:1 亿

测试结果

图片

磁盘为 SSD,写入最高可达 :350M/秒,IO 非常富余

带宽:客户端服务器同一台机器,带宽可认为无限制

图片

数据解读

  • 在 4 核时 CPU 使用率降至 88%,若再增加 CPU 可能 CPU 不会再成为瓶颈,所以升级配置至 12 个 VGROUPS、12 写入线程,让 CPU 始终保持在瓶颈状态下

  • 每增加一个 CPU,写入性能线性提升约 50W 左右,符合线程增长预期

  • 磁盘 IO 基本与写入速度增长保持一致

测试结论: 与预期一致

测试目的

验证在CPU、带宽及内存不是瓶颈,仅 IO 是瓶颈情况下,写入速度应与增加的磁盘个数成正比。

测试方法

测试系统:Linux Ubuntu 20.4 操作系统

硬件配置:CPU 24 核, 64 GB 内存,挂三块普通 5400 转低速机械盘(选择性能普通的硬盘,有利于很快打满 IO,达到 IO 成为瓶颈的条件 )

TDengine:版本 V3.3.0.0

测试工具:taosBenchmark

表结构: 

图片

(每行长度 32618 字节,使用大宽行,更能把 IO 打满)

增加磁盘方法:使用同级挂载多块磁盘技术

测试参数

数据库:1 个 VGROUP 16

超级表:1 个

子表数:100 个

每子表行数:1W

总数据量:100W

taosBenchmark :

写入线程数 = 16 个

写入方式 = stmt vgroup 绑定线程快速写入方法

测试结果

图片

  • CPU: 24 核 CPU ,大部分都为空闲,CPU 非常富余

  • 带宽:客户端服务器同一台机器,带宽可认为无限制

  • Commit 线程数是数据落盘的线程数,直接操作 IO 

  • 磁盘挂载到 3 块后,需求加大 Commit 线程数,才能打满 IO

图片

数据解读

从数据上可看出,每增加一块磁盘,写入性能也会成比例增长,新增磁盘 IO 被充分使用。

测试结论: 与预期一致

通过对 TDengine 服务器的 CPU 和磁盘资源进行扩展实验,我们验证了其对硬件资源的利用能力。实验结果表明,TDengine 展现出了显著的线性扩展能力,这证明了其具备优秀的架构设计和先进的设计理念。TDengine 能够有效地利用增加的硬件资源,这不仅提升了性能,也优化了资源的整体使用效率。这种能力是 TDengine 高效处理大规模数据需求的关键因素。

关于 TDengine

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,其核心模块是高性能、集群开源、云原生、极简的时序数据库。它能安全高效地将大量设备每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,并提供 AI 智能体对数据进行预测与异常检测,提供实时的商业洞察。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/pingmian/88157.shtml
繁体地址,请注明出处:http://hk.pswp.cn/pingmian/88157.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

频繁迭代下完成iOS App应用上架App Store:一次快速交付项目的完整回顾

在一次面向商户的会员系统App开发中,客户要求每周至少更新一次版本,涉及功能迭代、UI微调和部分支付方案的更新。团队使用Flutter进行跨平台开发,但大部分成员日常都在Windows或Linux环境,只有一台云Mac用于打包。如何在高频率发布…

springsecurity03--异常拦截处理(认证异常、权限异常)

目录 Spingsecurity异常拦截处理 认证异常拦截 权限异常拦截 注册异常拦截器 设置跨域访问 Spingsecurity异常拦截处理 认证异常拦截 /*自定义认证异常处理器类*/ Component public class MyAuthenticationExceptionHandler implements AuthenticationEntryPoint {Overr…

企业如何制作网站?网站制作的步骤与流程?

以下是2025年网站制作的综合指南,涵盖核心概念、主流技术及实施流程: 一、定义与范畴 网站制作是通过页面结构设计、程序设计、数据库开发等技术,将视觉设计转化为可交互网页的过程,包含前端展示与后台功能实现。其核心目标是为企…

Rust+Blender:打造高性能游戏引擎

基于Rust和Blender的游戏引擎 以下是基于Rust和Blender的游戏引擎开发实例,涵盖不同应用场景和技术方向的实际案例。案例分为工具链整合、渲染技术、物理模拟等类别,每个案例附核心代码片段或实现逻辑。 工具链整合案例 案例1:Blender模型导出到Bevy引擎 使用blender-bev…

Git基本操作1

Git 是一款分布式版本控制系统,主要用于高效管理代码版本和团队协作开发。它能精确记录每次代码修改,支持版本回溯和分支管理,让开发者可以并行工作而互不干扰。通过本地提交和远程仓库同步,Git 既保障了代码安全,又实…

React Native 组件间通信方式详解

React Native 组件间通信方式详解 在 React Native 开发中,组件间通信是核心概念之一。以下是几种主要的组件通信方式及其适用场景: 简单父子通信:使用 props 和回调函数兄弟组件通信:提升状态到共同父组件跨多级组件:…

TCP的可靠传输机制

TCP通过校验和、序列号、确认应答、重发控制、连接管理以及窗口控制等机制实现可靠性的传输。 先来看第一个可靠性传输的方法。 通过序列号和可靠性提供可靠性 TCP是面向字节的。TCP把应用层交下来的报文(可能要划分为许多较短的报文段)看成一个一个字节…

没有DBA的敏捷开发管理

前言一家人除了我都去旅游了,我这项请假,请不动啊。既然在家了,闲着也是闲着,就复盘下最近的工作,今天就复盘表结构管理吧,随系统启动的,不是flyway,而是另一个liquibase&#xff0c…

go-carbon v2.6.10发布,轻量级、语义化、对开发者友好的 golang 时间处理库

carbon 是一个轻量级、语义化、对开发者友好的 Golang 时间处理库,提供了对时间穿越、时间差值、时间极值、时间判断、星座、星座、农历、儒略日 / 简化儒略日、波斯历 / 伊朗历的支持。 carbon 目前已捐赠给 dromara 开源组织,已被 awesome-go 收录&am…

【AI News | 20250708】每日AI进展

AI Repos 1、claude-code-templates Claude Code Templates是一款全面的命令行工具,旨在为不同编程语言和框架(如JavaScript/TypeScript、Python等,Go和Rust即将推出)提供优化的Claude Code配置。它通过交互式设置、自动化钩子&a…

Nginx源码安装+静态站点部署指南(CentOS 7)

安装包:可自行前往我的飞书下载 Docs 也可以进入 nginx 官网,下载自己所需适应版本 nginx 开始安装nginx 1. 创建准备目录 cd /opt mkdir soft module # 创建软件包和源码解压目录 2. 安装依赖环境 yum -y install make zlib zlib-devel gcc-c l…

交换机的核心原理和作用

一、交换机的核心原理交换机是一种用于连接多台设备的网络硬件,其核心原理基于二层网络(数据链路层)的 MAC 地址寻址1. MAC 地址学习与存储当交换机接收到数据帧时,会读取帧中的源 MAC 地址,并将该地址与对应的端口号记…

【工具变量】上市公司企业金融强监管数据、资管新规数据(2001-2024年)

数据简介:参考顶刊《经济研究》李青原(2022)老师的做法,Post 为时间虚拟变量,根据资管新规实施的时间,当观测期为2018 年上半年及之后时,Post 取值1,否则取值0。PreFin 为资管新规实…

CSS Grid与Flexbox布局实战对比

概述 CSS布局技术在过去几年经历了重大变革,从传统的基于浮动和定位的方法,到现在强大的Flexbox和Grid布局系统。这两种现代布局方法极大地简化了复杂界面的开发过程,但它们各自适用于不同的场景。本文将对Flexbox和Grid进行深入比较&#x…

[Pytest][Part 4]多种测试运行方式

实现需求2:有两种运行测试的方式:通过config配置文件运行,测试只需要修改config配置文件cmdline 运行这里是新建一个config类来存储所有的测试配置,以后配置有修改的话也只需要修改这个类。根据目前的测试需求,config中…

平衡二叉树的删除操作

对于平衡二叉树的操作应对与考试只需要模拟出过程即可,且他的过程和插入的平衡方法一样,不一样的只是对于平衡因子的计算上。接下来我将给出方法①删除结点(方法同“二叉排序树”) ②一路向北找到最小不平衡子树,找不到…

Spark 4.0的 VariantType 类型优点以及使用分析

背景 本文基于Spark 4.0。 总结 对于半结构化的数据来说,我们一般会有两种方式进行存储: 第一种是存储为JSON String,这种可以保证Schema free,但是在使用的时候得解析为JSON,从而进行运算操作。 第二种是存储为Struct类型,这种虽…

17-C#封装,继承,多态与重载

C#封装继承多态 1. 2. 3.多态 public abstract class animal//抽象类 {public abstract void eat();//抽象方法 } public class cat : animal//继承 {public override void eat()//重写{messagebox.show("cat eat");} } public class dog: animal//继承 {public over…

恒创科技:香港站群服务器做seo站群优化效果如何

香港站群服务器做 SEO 站群优化效果如何?在当前搜索引擎优化竞争日益激烈的环境下,越来越多的企业开始关注站群策略这一高效的 SEO 手段。作为亚洲重要的网络枢纽,香港站群服务器因其独特优势,正成为实施 SEO 站群优化的热门选择。本文将客观…

Linux-进程管理

Linux-进程管理Linux 进程管理1. 进程的含义2. 进程状态3. 进程工作模式4. 守护进程5. 进程查看命令5.1 ps 命令5.2 top 命令5.3 pstree 命令6. 终止进程的 kill 命令7. 前后台运行8. 暂停进程9. 进程文件系统 /proc10. 定时任务管理10.1 at 命令10.2 batch 命令10.3 cron 与 c…