DMETL安装流程及简单使用

安装调度器

安装执行器

安装管理器

启动服务

进入web管理端

创建数据源

编辑添加表

添加影子表增量

节点监控

DMETL工程流搭建实践

创建表/视图

添加sql脚本

添加数据清洗与转换模块

添加排序模块

创建输出表

连接各模块并启动

查看验证结果

监控管理

会话监控

数据统计

流程统计

安装调度器

[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_scheduler_linux.x86_64.bin -i
Extract install files.........
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
2
1.免费试用达梦数据交换平台
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据交换平台]:
1
免费试用Key文件限制信息如下:
有效日期:2024-05-17
用户名称:试用用户
项目名称:未知
发布类型:试用版
版本类型:大数据版
最大执行器数:4
硬件ID:无限制
最大数据源数:无限制
最大并发流程数:无限制
1.标准版
2.自定义
安装类型[1.标准版]:
1
1.控制器
2.调度器
所需磁盘空间:1,084 MB
配置jdk:
1.使用软件jdk
2.使用本机系统jdk
3.指定其他jdk
1
安装目录: [/opt/dmetl5]
/opt/dmdba/dmetl5/scheduler
正在安装
正在创建快捷方式
安装成功
1.使用内置数据库
2.使用外置数据库
数据库类型:[1.使用内置数据库]:
2
1.DM7
2.DM6
3.DM8
4.Oracle8
5.Oracle9
6.Oracle10
7.Oracle11
8.Oracle12
9.SQLServer2000
10.SQLServer2005
11.SQLServer2008
12.MySQL3
13.MySQL4
14.MySQL5
15.MySQL6
数据库类型:[1.DM7]:
3
数据库IP:localhost
数据库端口:5236
数据库名称:默认
用户名:SYSDBA
使用默认连接信息?[Y or N]
n
数据库IP:[localhost]数据库端口:[5236]数据库名称:[默认]用户名:[SYSDBA]
DMETL
密码:
初始化元数据库[Y or N]:
N
控制器服务
服务名称:[Dmetl5ControllerService]:显示名称:[Controller_127.0.0.1_20231117]:管理器地址:[http://localhost:8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建控制器服务
调度器服务
服务名称:[Dmetl5SchedulerService]:显示名称:[Scheduler_127.0.0.1_20231117]:所属控制器名称:[Controller_127.0.0.1_20231117]:调度器端口:[1234]:管理器地址:[http://localhost:8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建调度器服务
达梦数据交换平台 V5.0调度器 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmdba/dmetl5/scheduler/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#

安装执行器

[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_manager_linux.x86_64.bin -i
Extract install files..........
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
2
1.管理器
所需磁盘空间:999 MB
配置jdk:
1.使用软件jdk
2.使用本机系统jdk
3.指定其他jdk
1
安装目录: [/opt/dmetl5]
/opt/dmdba/dmetl5/manager
正在安装
正在创建快捷方式
安装成功
配置管理器ini文件
1.使用内置数据库
2.使用外置数据库
数据库类型:[1.使用内置数据库]:
2
1.dm
2.oracle
3.sqlserver
4.mysql
数据库类型:[1.dm]:
1
数据库IP:localhost
数据库端口:5236
数据库名称:默认
用户名:SYSDBA
使用默认连接信息?[Y or N]
n
数据库IP:[localhost]数据库端口:[5236]数据库名称:[默认]用户名:[SYSDBA]
DMETL
密码:
管理器服务
服务名称:[Dmetl5ManagerService]:管理器端口[8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建管理器服务
达梦数据交换平台 V5.0管理器 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmdba/dmetl5/manager/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#

安装管理器

[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_manager_linux.x86_64.bin -i
Extract install files..........
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
2
1.管理器
所需磁盘空间:999 MB
配置jdk:
1.使用软件jdk
2.使用本机系统jdk
3.指定其他jdk
1
安装目录: [/opt/dmetl5]
/opt/dmdba/dmetl5/manager
正在安装
正在创建快捷方式
安装成功
配置管理器ini文件
1.使用内置数据库
2.使用外置数据库
数据库类型:[1.使用内置数据库]:
2
1.dm
2.oracle
3.sqlserver
4.mysql
数据库类型:[1.dm]:
1
数据库IP:localhost
数据库端口:5236
数据库名称:默认
用户名:SYSDBA
使用默认连接信息?[Y or N]
n
数据库IP:[localhost]数据库端口:[5236]数据库名称:[默认]用户名:[SYSDBA]
DMETL
密码:
管理器服务
服务名称:[Dmetl5ManagerService]:管理器端口[8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建管理器服务
达梦数据交换平台 V5.0管理器 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmdba/dmetl5/manager/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#

启动服务

启动调度器

/opt/dmdba/dmetl5/scheduler/scheduler/scheduler_service_restart.sh

启动执行器

/opt/dmdba/dmetl5/executor/executor_native/executor_native_service_restart.sh

启动管理器

/opt/dmdba/dmetl5/manager/manager/manager_service_restart.sh

如果不是以root用户安装，则直接在对应的安装目录下用命令启动

启动调度器

/opt/dmdba/dmetl5/scheduler/scheduler/scheduler_ start.sh

启动执行器

/opt/dmdba/dmetl5/executor/executor_native/executor_native_ start.sh

启动管理器

/opt/dmdba/dmetl5/manager/manager/manager_ start.sh

启动控制器

/opt/dmdba/dmetl5/ scheduler /controller/controller_start.sh

进入web管理端

输入IP地址：8080即可登录进管理端，账号和密码均为admin

概览里面包含了调度器和本地执行器的状态，以及启停等信息。

创建数据源

数据源对象表示 DMETL 在进行数据读取或写入时，需要连接的外部数据存储。DMETL 支持的数据源类型有：数据库、WebService、MongoDB、Elasticsearch、Restful、键值缓存、Hadoop 数据源、Kafka、Hbase 数据源、Redis、文件源、Spark、Neo4j、GDM 等。本次创建DM8数据源

添加表

展开【数据库】节点，右键选择【添加表】，弹出添加表对话框，如下图所示，完成表的添加。

添加影子表增量

影子表增量的运行机制，是以源表为基础，创建一张影子表和一张影子增量表，通过比较源表与影子表的差异，将发生在源表的插入、删除、更新等 DML 操作以增量数据的形式记录在影子增量表中，再通过解析增量数据，将上述 DML 操作同步到目的表中，从而实现增量数据同步功能。

节点监控

用于监视当前系统内存，CPU，JVM，磁盘，调度器和执行器JVM的运行情况；同时 CPU 使用率，内存使用率，JVM 使用率，磁盘使用率超过阈值且超过持续时间或者恢复正常都会发送相应的告警消息。

DMETL工程流搭建实践

流程目标：实现读取已经存在数据源中的表，插入一条数据，进行数据清洗转换将姓名中的一条数据前面加入前缀：达梦数据库，随后将数据按照姓名的中文拼音顺序进行排序，并将结果输出到一张新的表中。

流程步骤图如下：

创建表/视图

首先在“数据读取“大类下创建表/视图，读取之前添加的数据源，选中列信息

添加sql脚本

在当前模式下添加一条插入语句，注意要将上面创建的表和视图模块下面绿色箭头牵引至该模块，否则无法实现数据读取

添加数据清洗与转换模块

在数据清洗与转换模块中，添加规则：在上一步插入的名字前面添加达梦数据库，选择内容，选择填写需要搜索的字符，最后选择在字符前添加，随后可以预览规则

添加排序模块

在排序模块中，选择按中文拼音升序排序，即可实现字段按照拼音的顺序重新排列。

创建输出表

在数据装载模块中添加表作为输出表，由于先前未创建表，因此在此处创建一张与原始数据表不相同的表名，字段与原始表保持一致。

连接各模块并启动

各模块需要在每个模块的左下方绿色箭头处指向下个模块，否则流程不生效，随后点击保存并启动

查看验证结果

在新创建的表中，字段按照中文拼音的顺序进行了重新排序，新添加的name也被改成了带有达梦数据库前缀的name，执行无报错

监控管理

用于监视 DMETL 系统中正在运行的流程。包括调度执行和手动执行的流程。流程监控以树型结构的方式，展示系统中正在执行的作业、转换。展示的信息包括流程名称、流程运行状态、运行开始时间、运行结束时间、执行方式、下次调度时间、流程所在目录，执行器等。在执行上述流程的时候，由于我删除了第一次生成的数据表，第二次配置的时候没有新建数据集，所以报错两次，其他流程无异常。