TDengine 集群运行监控

在这里插入图片描述

简介

为了确保集群稳定运行,TDengine 集成了多种监控指标收集机制,并通过 taosKeeper 进行汇总。taosKeeper 负责接收这些数据,并将其写入一个独立的 TDengine 实例中,该实例可以与被监控的 TDengine 集群保持独立。TDengine 中的两个核心组件 taosd(数据库引擎)和 taosX(数据接入平台)都通过相同的监控架构来实现对其运行时的监控,但各自的监控指标设计有所不同。

至于如何获取和使用这些监控数据,用户可以使用第三方的监测工具比如 Zabbix 来获取这些保存的系统监测数据,进而将 TDengine 的运行状况无缝集成到现有的 IT 监控系统中。也可以使用 TDengine 提供的 TDinsight 插件,使用该插件用户可以通过 Grafana 平台直观地展示和管理这些监控信息,如下图所示。这为用户提供了灵活的监控选项,以满足不同场景下的运维需求。

在这里插入图片描述

配置 taosKeeper

因为 TDengine 的监控数据都通过 taosKeeper 上报并存储,所以本节先介绍 taosKeeper 的配置。

taosKeeper 的配置文件默认位于 /etc/taos/taoskeeper.toml。详细配置见 参考手册。其中最为关键的一个配置项是 database,它决定了收集到的监控数据存储在目标系统的哪个数据库中。

监控 taosd

基于 TDinsight 监控 taosd

为了简化用户在 TDengine 监控方面的配置工作,TDengine 提供了一个名为 TDinsight 的 Grafana 插件。该插件与 taosKeeper 协同工作,能够实时监控 TDengine 的各项性能指标。

通过集成 Grafana 和 TDengine 数据源插件,TDinsight 能够读取 taosKeeper 收集的监控数据。这使得用户可以在 Grafana 平台上直观地查看 TDengine 集群的状态、节点信息、读写请求以及资源使用情况等关键指标,实现数据的可视化展示。

以下是 TDinsight 的详细使用说明,以帮助你充分利用这一强大工具。

前置条件

若要顺利使用 TDinsight,应满足如下条件。

  • TDengine 已安装并正常运行。
  • taosAdapter 已经安装并正常运行。
  • taosKeeper 已经安装并正常运行。
  • Grafana 已安装并正常运行,以下介绍以 Grafna 11.0.0 为例。

同时记录以下信息。

  • taosAdapter 的 RESTful 接口地址,如 http://www.example.com:6041
  • TDengine 集群的认证信息,包括用户名及密码。
导入仪表盘

TDengine 数据源插件已提交至 Grafana 官网,如何安装 TDengine 数据源插件和配置数据源请参考 安装 Grafana Plugin 并配置数据源。完成插件的安装和数据源的创建后,可以进行 TDinsight 仪表盘的导入。

在 Grafana 的“Home” -> “Dashboards”页面,点击位于右上角的“New” -> “import”按钮,即可进入 Dashboard 的导入页面,它支持以下两种导入方式。

  • Dashboard ID:18180。
  • Dashboard URL:https://grafana.com/grafana/dashboards/18180-tdinsight-for-3-x/

填写以上 Dashboard ID 或 Dashboard URL 以后,点击“Load”按钮,按照向导操作,即可完成导入。导入成功后,Dashboards 列表页面会出现“TDinsight for 3.x”仪表盘,点击进入后,就可以看到 TDinsight 中已创建的各个指标的面板,如下图所示:

在这里插入图片描述

注意 在 TDinsight 界面左上角的“Log from”下拉列表中可以选择 log 数据库。

TDengine V3 监控数据

TDinsight dashboard 数据来源于 log 库(存放监控数据的默认数据库,可以在 taoskeeper 配置文件中修改)。“TDinsight for 3.x”仪表盘查询了 taosd 和 TaosAdapter 的监控指标。

  • taosd 的监控指标请参考 taosd 监控指标
  • taosAdapter 的监控指标请参考 taosAdapter 监控指标

监控 taosX

taosX 是 TDengine 中提供零代码数据接入能力的核心组件,对它的监控也十分重要。taosX 监控与 TDengine 监控类似,都是通过 taosKeeper 将服务搜集的 metrics 写入指定数据库,然后借助 Grafana 面板做可视化和报警。这个功能可监控的对象包括:

  1. taosX 进程
  2. 所有运行中的 taosx-agent 进程
  3. 运行在 taosX 端或 taosx-agent 端的各个连接器子进程
  4. 运行中的各类数据写入任务

前置条件

  1. taosd,taosAdapter 和 taosKeeper 都已经部署完成并启动成功。
  2. taosX 服务监控配置正确,如何配置可以参考下文“配置 taosX 监控”,服务启动成功。
    注意:TDengine 企业版本 3.2.3.0 或以上版本包含的 taosX 才包含此功能。如果单独安装 taosX,需要 taosX 1.5.0 或以上版本。
  3. 部署 Grafana,安装 TDengine Datasource 插件,配置好数据源。可以参考:安装 Grafana Plugin 并配置数据源。
    注意:需要安装 Grafana 插件 TDengie Datasource v3.5.0 或以上版本。

配置 taosX 监控

toasX 的配置文件 (默认 /etc/taos/taosx.toml) 中与 monitor 相关的配置如下:

[monitor]
# FQDN of taosKeeper service, no default value
# fqdn = "localhost"
# port of taosKeeper service, default 6043
# port = 6043
# how often to send metrics to taosKeeper, default every 10 seconds. Only value from 1 to 10 is valid.
# interval = 10

每个配置也有对应的命令行选项和环境变量。通过以下表格说明:

配置文件配置项命令行选项环境变量含义取值范围默认值
fqdn–monitor-fqdnMONITOR_FQDNtaosKeeper 服务的 FQDN无默认值,配置 fqdn 就等于开启了监控功能
port–monitor-portMONITOR_PORTtaosKeeper 服务的端口6043
interval–monitor-intervalMONITTOR_INTERVALtaosX 发送 metrics 数据到 taosKeeper 的时间间隔,单位秒1-1010

基于 TDinsight 监控 tasoX

“TDinsight for taosX”是专门为 taosX 监控创建的 Grafana 面板。使用前需要先导入这个面板。

进入面板
  1. 在 Grafana 界面菜单中点击“Data sources”,然后选择已经配置好的 TDengine 数据源。

  2. 在数据源配置界面选择“Dashboard”Tab, 然后导入“TDinsight for taosX”面板(第一次使用需要先导入)。下面是一个示例图:

    在这里插入图片描述

    该面板每一行代表一个或一类监控对象。最上面是 taosX 监控行,然后是 Agent 监控行,最后是各类数据写入任务的监控。
    :::note

    • 如果打开这个面板后看不到任何数据,你很可能需要点击左上角的数据库列表(即“Log from”下拉菜单),切换到监控数据所在的数据库。
    • 数据库包含多少个 Agent 的数据就会自动创建多少个 Agent 行。(如上图)
      :::
监控示例
  1. taosX 监控示例图

    在这里插入图片描述

  2. Agent 监控示例图

    在这里插入图片描述

  3. TDengine2 数据源监控示例图

    在这里插入图片描述

    :::info
    监控面板只展示了数据写入任务的部分监控指标,在 Explorer 页面上有更全面的监控指标,且有每个指标的具体说明。

    :::

  4. TDengine3 数据源监控示例图

    在这里插入图片描述

  5. 其它数据源监控示例图
    在这里插入图片描述

限制

只有在以 server 模式运行 taosX 时,与监控相关的配置才生效。

explorer 集成监控面板

explorer 支持集成已有的 grafana dashboard。

配置 grafana

编辑 grafana.ini, 修改以下配置项。配置 root_url, 可能对现有的 grafana 使用习惯有所影响,为了集成到 explorer 是需要如此配置的,方便通过 explorer 做服务代理。

[server]
# If you use reverse proxy and sub path specify full url (with sub path)
root_url = http://ip:3000/grafana
# Serve Grafana from subpath specified in `root_url` setting. By default it is set to `false` for compatibility reasons.
serve_from_sub_path = true[security]
# set to true if you want to allow browsers to render Grafana in a <frame>, <iframe>, <embed> or <object>. default is false.
allow_embedding = true

配置 Explorer

修改 explorer.toml, 其中 dashboard 配置的 url 中的 ip, 应该配置为可以通过 explorer 服务器能够访问到的 grafana 服务的内网地址。

[grafana]
# The token of the Grafana server, which is used to access the Grafana server.
token = ""# The URL of the Grafana dashboard, which is used to display the monitoring data of the TDengine cluster.
# You can configure multiple Grafana dashboards.
[grafana.dashboards]
TDengine3 = "http://ip:3000/d/000000001/tdengine3?theme=light&kiosk=tv"
taosX = "http://ip:3000/d/000000002/taosx?theme=light&kiosk=tv"

如下图 (grafana V-8.5.27),获取 api key, 请注意添加只读权限的 apikey, 否则有安全风险。
在这里插入图片描述

如下图 (grafana V-8.5.27),获取 dashboard url, 获取的 url 请额外加上参数:theme=light&kiosk=tv.

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/diannao/85915.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C# 委托UI控件更新例子,何时需要使用委托

1. 例子1 private void UdpRxCallBackFunc(UdpDataStruct info) {// 1. 前置检查防止无效调用if (textBoxOutput2.IsDisposed || !textBoxOutput2.IsHandleCreated)return;// 2. 使用正确的委托类型Invoke(new Action(() >{// 3. 双重检查确保安全if (textBoxOutput2.IsDis…

[10-2]MPU6050简介 江协科技学习笔记(22个知识点)

1 2 3 欧拉角是描述三维空间中刚体或坐标系之间相对旋转的一种方法。它们由三个角度组成&#xff0c;通常表示为&#xff1a; • 偏航角&#xff08;Yaw&#xff09;&#xff1a;绕垂直轴&#xff08;通常是z轴&#xff09;的旋转&#xff0c;表示偏航方向的变化。 • 俯仰角&a…

虚拟环境共享系统包

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 虚拟环境共享系统包 python basic_pipelines/detection.py如果报错显示如下&#xff1a; Traceback (most recent call last):File "/home/ai/hailort/hailo-rpi5-exam…

Java求职者面试题解析:基础概念、计算机基础与源码原理

Java求职者面试题解析&#xff1a;基础概念、计算机基础与源码原理 第一轮&#xff1a;基础概念问题 1. 什么是Java的跨平台特性&#xff1f; Java的跨平台特性是指Java程序可以在任何支持Java虚拟机&#xff08;JVM&#xff09;的设备上运行&#xff0c;而无需重新编译。这…

网页前端开发(基础进阶4--axios)

Ajax Ajax(异步的JavaScript和XML) 。 XML是可扩展标记语言&#xff0c;本质上是一种数据格式&#xff0c;可以用来存储复杂的数据结构。 可以通过Ajax给服务器发送请求&#xff0c;并获取服务器响应的数据。 Ajax采用异步交互&#xff1a;可以在不重新加载整个页面的情况下&am…

设计模式-迪米特法则

迪米特法则 迪米特法则 (Law of Demeter, LoD)&#xff0c;也被称为“最少知识原则 (Principle of Least Knowledge)”&#xff0c;是面向对象设计中的一个重要原则。 核心思想&#xff1a;一个对象应该对其他对象有尽可能少的了解。 更具体地说&#xff0c;它规定了一个对象…

结构性-代理模式

动态代理主要是为了处理重复创建模板代码的场景。 使用示例 public interface MyInterface {String doSomething(); }public class MyInterfaceImpl implements MyInterface{Overridepublic String doSomething() {return "接口方法dosomething";} }public class M…

Unity大型项目资源框架

🎯 Unity大型项目资源管理:低端机检测后自动切换资源框架(大厂风格) 🧩 框架目标 ✅ 启动时检测机型性能,判定设备等级 ✅ 同一资源有高配/中配/低配不同压缩格式 ✅ 根据设备等级,加载对应资源包(AB) ✅ 支持动态切换(可用来切换特效/贴图分辨率/模型LOD) ✅ 保证…

MATLAB仿真:偏振光在光纤通信中的应用研究_可复现,有问题请联系博主

MATLAB仿真:偏振光在光纤通信中的应用研究 1. 研究概述 本文通过MATLAB仿真研究偏振光在光纤通信中的关键技术,包括偏振态生成、传输特性和检测方法,重点分析偏振模色散(PMD)的影响机制,并设计偏振控制优化方案。 %% 主程序框架 clc; clear; close all; addpath(Polar…

CTA-861-G-2017中文pdf版

CTA-861-G标准&#xff08;2016年11月发布&#xff09;规范未压缩高速数字接口的DTV配置&#xff0c;涵盖视频格式、色彩编码、辅助信息传输等&#xff0c;适用于DVI、HDMI等接口&#xff0c;还涉及EDID数据结构及HDR元数据等内容。

C++核心编程_继承方式

继承的语法&#xff1a;class 子类 : 继承方式 父类 继承降属性权限&#xff0c;不可升属性权限 继承方式一共有三种&#xff1a; 公共继承 保护继承 私有继承 #include <iostream> #include <string> using namespace std;class Base1 { public:int m_A; p…

Dockerfile常用指令介绍

Dockerfile常用指令介绍 Dockerfile是一个文本文件&#xff0c;用于定义Docker镜像的构建过程。下面介绍一些最常用的Dockerfile指令及其用法&#xff1a; 基础指令 FROM - 指定基础镜像 FROM python:3.9-slim这是Dockerfile的第一个指令&#xff0c;用于指定构建镜像的基础镜…

Spring中@Primary注解的作用与使用

在 Spring 框架中&#xff0c;Primary 注解用于解决依赖注入时的歧义性&#xff08;Ambiguity&#xff09;问题。当 Spring 容器中存在多个相同类型的 Bean 时&#xff0c;通过 Primary 标记其中一个 Bean 作为默认的首选注入对象。 核心作用&#xff1a; 解决多个同类型 Bean …

本地优先的状态管理与工具选型策略

本地优先&#xff1a;合理把控状态共享边界 在 React 应用开发过程中&#xff0c;开发者容易陷入一个认知误区——过度追求状态的全局化。许多新手开发者在项目初期就急于引入 Redux、Zustand 或 Jotai 等状态管理工具&#xff0c;将一些本应属于组件内部的琐碎状态&#xff0…

OpenCV CUDA模块图像处理-----对图像执行 均值漂移过程(Mean Shift Procedure)函数meanShiftProc()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 执行一个均值漂移过程&#xff08;mean-shift procedure&#xff09;&#xff0c;并将处理后的点的信息&#xff08;它们的颜色和位置&#xff0…

硬件I2C和软件I2C的区别

硬件I2C和软件I2C的区别 一、硬件I2C 1、硬件IC的局限性及学习意义 尽管硬件IC外设在STM32等微控制器中提供了标准化的通信支持&#xff0c;但在实际应用中&#xff0c;其稳定性可能存在问题。例如&#xff0c;某些情况下外设会因事件检测异常而进入死锁状态&#xff0c;仅能…

推荐12个wordpress企业网站模板

WordPress企业网站模板是一种专为企业网站设计的WordPress主题&#xff0c;旨在帮助企业创建专业、美观且易于管理的网站。这些模板通常具备响应式设计、SEO优化、多语言支持等功能&#xff0c;能够满足不同行业和企业的需求。 WordPress企业网站模板的适用场景 企业官网&…

68道Hbase高频题整理(附答案背诵版)

简述什么是Hbase数据库&#xff1f; Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统&#xff0c;它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话说&#xff0c;Hbase是Apache Hadoop生态系统中的一部分&#xff0c;可以为大数据应用提供快速的随机…

PyTorch——卷积操作(2)

二维矩阵 [[ ]] 这里面conv2d(N,C,H,W)里面的四个是 N就是batch size也就是输入图片的数量&#xff0c;C就是通道数这只是一个二维张量所以通道为1&#xff0c;H就是高&#xff0c;W就是宽&#xff0c;所以是1 1 5 5 卷积核 reshape 第一个参数是batch size样本数量 第二个参数…

Linux之MySQL安装篇

1.确保Yum环境是否能正常使用 使用yum环境进行软件的安装 yum -y install mysql-server mysql2.确保软件包已正常完成安装 3.设置防火墙和selinux配置 ## 关闭防火墙 systemctl stop firewalld## 修该selinux配置 vim /etc/selinux/config 将seliuxenforcing修改为sel…