TDH社区开发版安装教程

(注:本文章来源于星环官网安装手册)

后面放置了视频和安装手册连接

1、硬件及环境要求

  1. Docker17及以上版本,支持Centos,Ubuntu等系统(注:这里我使用CentOS-7版本,最佳版本推荐为7.3-7.9)

  2. CPU:1颗4核心或以上带超线程x86指令集CPU的服务器

  3. 内存:

    TDH社区开发版以及StellarDB社区开发版:16GB及以上
    Scope社区开发版:24GB及以上
  4. 存储:如需部署Scope社区开发版,请务必确保数据目录所在磁盘大小至少50GB及以上。

温馨提示:上述最低内存仅适用于安装以及基础测试,如需确保稳定性以及需要进行产品功能测试,请酌情增加至8核32GB;如有性能需求,或涉及一定数据量的场景,请酌情增加至64GB及以上,按需调整资源。

2、TDH(Transwarp Data Hub ) 社区开发版

安装前系统配置

在安装前,请打开环境下的/etc/hosts文件,确保该文件包含节点的hostname和IP地址的映射关系列表。例如:

172.16.2.125 tdh-node

您可以登入到节点使用 hostname 命令检查节点主机名,确保节点名称与上述 /etc/hosts 里设置的名称相同。请注意,集群的节点名称必须符合DNS-1123规范,由数字、小写字母或“-”组成,不能包含大写字母,长度小于63。

您可以使用 hostnamectl set-hostname <hostname> 命令来修改主机名,参考以下示例:

[root@localhost ~]# hostnamectl set-hostname tw-node2125
[root@localhost ~]# hostname
tw-node2125
[root@localhost ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# vi /etc/hosts
[root@localhost ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.2.125 tw-node2125

请注意 /etc/hosts 文件的第一行必须为127.0.0.1的记录,不能将此行注释掉,也不能将当前主机名写在该行中。通常如下:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

环境准备

  1. 步骤一 Linux环境上安装docker(一个开源的容器化平台)

    此处以Centos系统为例

    yum install docker

    install docker

  2. 安装后启动/查看docker服务

    安装后启动docker服务

    systemctl start docker

    查看docker状态

    systemctl status docker

安装流程

  • 步骤一 将从官网下载下来的产品包上传至安装环境

    产品包名称:TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz

  • 步骤二 执行下述命令进行解压,解压后将出现一个镜像tar包

    tar -zxf TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz -C /opt/installs/

  • 步骤三 执行下述命令加载镜像

    docker load -i tdh-standalone-2023.5.tar

  • 步骤四 创建一个文件夹保存TDH运行过程中产生的配置conf、数据data、日志log。

mkdir /opt/tdh

  • 步骤五 执行下方指令启动容器并运行镜像,运行格式为:

docker run -d --network host -v <本地目录路径>:/opt/transwarp --privileged <镜像名称,例如:tdh-standalone:2024.5>

例:docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh- standalone:2023.5

注:-v参数配置了TDH挂载的本地磁盘路径。该路径下会保存TDH运行过程中产生的配置conf、数据data、日志log。再次提醒请不要随意改动做好备份,以及确保该路径为空目录,没有历史版本或其他开发版产品的数据文件。

Docker镜像是一个只读模板,用于创建Docker容器。镜像采用分层存储结构,每一层是在上一层的基础上进行的修改。

  • 步骤六 容器启动后需等待30s至2分钟

  • 步骤七 浏览器访问管理节点8180端口

    打开客户端浏览器(推荐使用Google Chrome浏览器),访问http://host:8180,比如http://192.168.127.132:8180/。访问这个地址,您会看到下面的登录页面:

  • 初次登录以admin的身份登录,密码也是admin。

  • 接下来是添加一些配置

安装完成

自助申请许可证教程

在安装完成后,页面会提示您需要申请许可证。

licenseapply1 24

如果您已经在星环云页面注册过账号以及创建过组织,填写对应的星环云ID以及密码,进行手机号码验证即可。如果您第一次使用社区版家族产品,可以参考下方教程进行申请。

  1. 点击弹窗下方的注册按钮,或者直接访问星环云页面 创建组织

    星环云网站:https://cloud.transwarp.cn/home

    License1

    License2

  2. 编辑组织信息

    创建好后如果需要重新更改名词可以选择编辑

    License3

  3. 申请许可证

    回到TDH Manager,输入账号进行“许可证申请”。

    License4 24

    license4.1 24

    License5 24

  4. 完成申请,启动许可证

下载使用客户端TDH-Client

TDH-Client:星环大数据平台(Transwarp Data Hub, TDH)的客户端工具,用于与 TDH 集群交互,提供命令行和 API 访问方式,支持 HDFS、Hive、Spark 等大数据组件的操作

Manager为用户提供了两种下载tdh-client的方式(Manager自带和随产品包上传)

这里我们使用的是Manager自带方法

使用TDH-Client前还需设置JAVA_HOME环境变量(这里不再演示,详情请查看以往作品)

  • 步骤一 登录Manager页面后点击右上角下载客户端

    tdh client 24.1

    tdh client 24.2

    如果您点击下载后没有反应,有可能是因为机器io较慢导致打包慢;如果3分钟后还是没有反应,可以选择重新配置下YARN服务再进行下载

    tdh client 1

  • 步骤二 将下载后的tdh-client.tar上传至服务器,并解压。

    tar -xvf tdh-client.tar

    tdh client 24.3

  • 步骤三 解压完成后,进入解压后的TDH-Client目录即可使用TDH-Client。

    source ./init.sh

    tdh client 24.5

连接数据库

上传数据到hdfs

常见问题排查指南:3 社区开发版安装手册-3.8 常见问题排查指南-TDH Community Edition-星环科技

星环数据平台星环官方安装视频:
transwarp-ce-1253207870.cos.ap-shanghai.myqcloud.com/TDH-CE-2024-5/视频/TDH社区开发版安装视频2024.5.mp4

社区开发版星环官方安装手册:

3 社区开发版安装手册-3.1 产品介绍-TDH Community Edition-星环科技

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/912643.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/912643.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux基本命令篇 —— grep命令

grep是Linux/Unix系统中一个非常强大的文本搜索工具&#xff0c;它的名字来源于"Global Regular Expression Print"&#xff08;全局正则表达式打印&#xff09;。grep命令用于在文件中搜索包含特定模式的行&#xff0c;并将匹配的行打印出来。 目录 一、基本语法 二…

苍穹外卖问题系列之 苍穹外卖订单详情前端界面和网课给的不一样

问题 如图&#xff0c;我的前端界面和网课里面给的不一样&#xff0c;没有“申请退款”和一些其他的该有的东西。 原因分析 “合计”这一栏显示undefined说明我们的总金额没有输入进去。可以看看订单提交那块的代码&#xff0c;是否可以正确输出。还有就是订单详细界面展示这…

CppCon 2018 学习:EMULATING THE NINTENDO 3DS

我们来逐个分析一下这个 组件交互模型 和 仿真 & 序列化 的关系&#xff0c;特别是主线程&#xff08;Main Thread&#xff09;与其他系统组件之间的交互。 1. Main Thread — simple (basically memcpy) --> GPU Main Thread&#xff08;主线程&#xff09;负责游戏的…

[Python 基础课程]数字

数字 数字数据类型用于存储数值&#xff0c;比如整数、小数等。数据类型是不允许改变的&#xff0c;这就意味着如果改变数字数据类型的值&#xff0c;将重新分配内存空间。 创建数字类型的变量&#xff1a; var1 1 var2 10创建完变量后&#xff0c;如果想废弃掉这个变量&a…

Linux CentOS环境下Java连接MySQL数据库指南

文章目录 前言一、环境准备1.1 系统更新1.2 Java环境安装1.3 MySQL数据库安装1.4 下载JDBC驱动 二、编写Java程序2.1 代码如下2.2 编译和运行2.3 验证创建结果 三、代码上传至Gitee3.1 安装配置Git3.2 克隆仓库到本地3.3 添加Java项目文件3.4 提交代码到本地仓库3.5 推送到Gite…

LLM面试12

讯飞算法工程师面试题 SVM核函数能否映射到无穷维 可以的&#xff0c;多项式核函数将低维数据映射到高维&#xff08;维度是有限的&#xff09;&#xff0c;而高斯核函数可以映射到无穷维。由 描述下xgb原理&#xff0c;损失函数 首先需要说一说GBDT,它是一种基于boosting增强…

类加载生命周期与内存区域详解

类加载生命周期与内存区域详解 Java 类加载的生命周期包括加载、验证、准备、解析、初始化五个阶段&#xff0c;每个阶段在内存中的存储区域和赋值机制各有不同。以下是详细解析&#xff1a; 一、类加载生命周期阶段 1. 加载&#xff08;Loading&#xff09; 内存区域&…

正交视图三维重建2 笔记 2d线到3d线2 先生成3d线然后判断3d线在不在

应该先连线再判断线在不在 if(fx1tx1&&tx1tx2){ const A[fx1, fy1, ty1];const Ahat[fx1, fy1, ty2];drawlines(A[0], A[1], A[2], Ahat[0], Ahat[1], Ahat[2], lineId, type,2);}if(fx2tx1&&tx1tx2){ const B[fx2, fy2, ty1];const Bhat[fx2, fy2, ty2];drawl…

Hibernate对象生命周期全解析

Hibernate对象生命周期详解 Hibernate作为Java领域主流的ORM框架,其核心机制之一就是对持久化对象生命周期的管理。理解Hibernate对象生命周期对于正确使用Hibernate进行数据持久化操作至关重要。Hibernate将对象分为三种主要状态:瞬时态(Transient)、持久态(Persistent)和游…

MCP 协议使用核心讲解

&#x1f4c4; MCP 协议使用核心讲解 ✅ MCP 协议的核心在于以下几个方面 一、MCP 请求结构&#xff08;MCPRequest&#xff09; {"messages": [{"role": "user","content": "帮我查询一下上海的天气"}],"tools"…

云计算中的几何方法:曲面变形的可视化与动画-AI云计算数值分析和代码验证

着重强调微分方程底层的几何和代数结构&#xff0c;以进行更深入的分析和求解方法。开发结构保持的数值方法&#xff0c;以在计算中保持定性特征。统一符号和数值方法&#xff0c;实现有效的数学建模。利用几何解释&#xff08;如双曲几何&#xff09;求解经典微分方程。利用计…

OpenCV篇——项目(一)OCR识别读取银行卡号码

目录 信用卡数字识别系统&#xff1a;前言与代码解析 前言 项目代码 ​​​​​​结果演示 代码模块解析 1. 参数解析模块 2. 轮廓排序函数 3. 图像预处理模块 4. 输入图像处理流程 5. 卡号区域定位 6. 数字识别与输出 系统优势 信用卡数字识别系统&#xff1a;前言…

Adobe AI高效设计秘籍与创新思维进阶

开篇&#xff1a;十年设计征途&#xff0c;Adobe赋能创意飞翔 作为一名在设计领域耕耘十年的旅居职业设计师&#xff0c;我得益于英国帕维斯经济与音乐学院&#xff08;Parvis School of Economics and Music&#xff09;提供的Adobe正版教育订阅&#xff0c;得以持续探索技术…

vc formal实例

命令&#xff1a; module load gui 方式启动命令&#xff0c; 看一下cc_pinmux.tcl 里面有什么&#xff1a; 工具feature 的设置&#xff0c;不太懂 对特定模块做blackbox, library file, 一般是工具无法识别的模块&#xff0c;例如 IO lib,memory lib,analog lib, 内部有 …

JavaScript取值get的json/url/普通对象参考

dstore.on(datachanged,function(dstore){ for(i0;i<dstore.getCount();i){ var a dstore.getAt(i); var imp_infoa.get(imp_info); 上面这段JS代码&#xff0c;imp_info取到的是一长串KEY和VALUE组成的内容&#xff0c;我怎样可以准确获取其中一…

【C++】侦测按键事件

侦测按键事件可以用C的conio.h头文件&#xff0c;用到的函数&#xff1a; _CRTIMP int __cdecl _getch(void); 输入以下代码&#xff1a; #include <iostream> #include <conio.h> using namespace std;int main() {char key;while (true) {cout << "…

Coremail受邀亮相华为开发者大会

6月20-22日&#xff0c;为期三天的HDC.2025华为开发者大会在东莞举行&#xff0c;全球超过1.2万名开发者汇聚现场&#xff0c;聚焦鸿蒙生态、AI技术及产业合作。Coremail作为鸿蒙生态的核心伙伴和深度参与者受邀出席&#xff0c;并获得“智慧办公最佳产品合作伙伴”奖项。 HDC.…

视频断点续播全栈实现:基于HTML5前端与Spring Boot后端

文章目录 视频断点续播功能实现方案核心思路前端实现HTML结构JavaScript实现Spring Boot后端实现1.依赖配置(pom.xml)2.实体类3.存储库接口4.服务层5. 控制器实现要点视频断点续播功能构思图流程说明用户交互:前端核心功能:后端处理:数据存储:🌐 我的个人网站:乐乐主题创…

华为设备 QoS 流分类与流标记深度解析及实验脚本

一、引言 在复杂网络环境中&#xff0c;不同业务对网络质量需求各异。语音通话要求低时延、视频直播依赖高带宽、普通文件传输对丢包容忍度相对较高 。QoS&#xff08;Quality of Service&#xff0c;服务质量&#xff09;技术通过流分类、流标记等手段&#xff0c;为不同业务…

[论文阅读] 人工智能 + 软件工程 | 从软件工程视角看大语言模型:挑战与未来之路

从软件工程视角看大语言模型&#xff1a;挑战与未来之路 论文标题&#xff1a;Software Engineering for Large Language Models: Research Status, Challenges and the Road Ahead arXiv:2506.23762 Software Engineering for Large Language Models: Research Status, Chall…