在VMware虚拟机集群中，完成Hive的安装部署

Hive是分布式运行的框架还是单机运行的？

Hive是单机工具，只需要部署在一台服务器即可。

Hive虽然是单机的，但是它可以提交分布式运行的MapReduce程序运行。

我们知道Hive是单机工具后，就需要准备一台服务器供Hive使用即可。

同时Hive需要使用元数据服务，即需要提供一个关系型数据库，我们也选择一台服务器安装关系型数据库即可。

所以：

服务

机器

Hive本体

部署在node1

元数据服务所需的关系型数据库（课程选择最为流行的MySQL）

部署在node1

为了简单起见，都安装到node1服务器上。

一、安装MySQL数据库

我们在node1节点使用yum在线安装MySQL5.7版本。

CentOS 7 已于 2024 年 6 月 30 日结束生命周期，官方镜像源（mirrorlist.centos.org）已关闭，因此无法解析域名。

解决方案

1、备份现有 Yum 配置：

sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、创建新的 Yum 配置文件：

sudo nano /etc/yum.repos.d/CentOS-Base.repo

3、将以下内容复制到文件中（使用阿里云镜像源）：

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#released updates
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

4、清理 Yum 缓存并重新生成：

sudo yum clean all
sudo yum makecache

5、更新系统：

sudo yum update

接下来就可以执行如下指令进行下载安装mysql了

# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm# yum安装Mysql
yum -y install mysql-community-server# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld# 检查Mysql服务状态
systemctl status mysqld# 第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log# 修改root用户密码
mysql -u root -p -h localhost
Enter password:mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';# 如果你想设置简单密码，需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可# 然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样）
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';/usr/bin/mysqladmin -u root password 'root'grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

二、配置Hadoop

Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖）

同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户

即设置hadoop用户允许代理（模拟）其它用户

配置如下内容在Hadoop的core-site.xml文件中，并分发到其它节点，且重启HDFS集群

# 编辑
vim core-site.xml# 修改core-site.xml文件
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>

三、下载解压Hive

切换到hadoop用户

su - hadoop

下载Hive安装包路径：
http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

或者从网盘资料中获取安装包：链接: https://pan.baidu.com/s/1vTQWQLmZ8JHUqs5Us5FcFQ?pwd=zgzs 提取码: zgzs 

解压到node1服务器的：/export/server/内

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

设置软连接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

四、提供MySQL Driver包

下载MySQL驱动包：

https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

或者从上述网盘资料中获取安装包

将下载好的驱动jar包，放入：Hive安装文件夹的lib目录内

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

五、配置Hive

在Hive的conf目录内，新建hive-env.sh文件

# 在Hive的conf目录内，新建hive-env.sh文件
vim hive-env.sh# 填入以下环境变量内容
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

在Hive的conf目录内，新建hive-site.xml文件

# 在Hive的conf目录内，新建hive-site.xml文件
vim hive-site.xml# 填入以下内容
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.server2.thrift.bind.host</name><value>node1</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property>
</configuration>

六、初始化元数据库

至此，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
在MySQL中新建数据库：hive

CREATE DATABASE hive CHARSET UTF8;

执行元数据库初始化命令：

cd /export/server/hivebin/schematool -initSchema -dbType mysql -verbos

# 初始化成功后，会在MySQL的hive库中新建74张元数据管理的表。

七、启动Hive（使用Hadoop用户）

确保Hive文件夹所属为hadoop用户

创建一个hive的日志文件夹： 

mkdir /export/server/hive/logs

启动元数据管理服务（必须启动，否则无法工作）
        前台启动：

bin/hive --service metastore 

        或者后台启动：

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

启动客户端，二选一
        Hive Shell方式（可以直接写SQL）： 

bin/hive

        Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： 

bin/hive --service hiveserver2

八、补充：HiveServer2服务

在启动Hive的时候，除了必备的Metastore服务外，我们前面提过有2种方式使用Hive：
方式1： bin/hive 即Hive的Shell客户端，可以直接写SQL
方式2： bin/hive --service hiveserver2
后台执行脚本：

nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

bin/hive --service metastore，启动的是元数据管理服务
bin/hive --service hiveserver2，启动的是HiveServer2服务
HiveServer2是Hive内置的一个ThriftServer服务，提供Thrift端口供其它客户端链接
可以连接ThriftServer的客户端有：
Hive内置的 beeline客户端工具（命令行工具）
第三方的图形化SQL工具，如DataGrip、DBeaver、Navicat等

Hive的客户端体系如下

启动

在hive安装的服务器上，首先启动metastore服务，然后启动hiveserver2服务。

#先启动metastore服务 然后启动hiveserver2服务
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

beeline

在node1上使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。
Beeline是JDBC的客户端，通过JDBC协议和Hiveserver2服务进行通信，协议的地址是：jdbc:hive2://node1:10000

[root@node1 ~]# /export/server/hive/bin/beeline 
Beeline version 3.1.2 by Apache Hive
beeline> ! connect jdbc:hive2://node1:10000
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000: 
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000>

后续可以在beeline中进行数据库相关操作了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.pswp.cn/pingmian/84972.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux运维新人自用笔记（部署 ​​LAMP：Linux + Apache + MySQL + PHP、部署discuz论坛）

Linux运维新人自用笔记（部署 ​​LAMP：Linux + Apache + MySQL + PHP、部署discuz论坛）

内容全为个人理解和自查资料梳理&#xff0c;欢迎各位大神指点&#xff01; 每天学习较为零散。 day19 简单搭建网站 下载apache服务 #下载阿帕奇服务 [rootxun ~]# yum install httpd -y#关闭防火墙 [rootxun ~]# iptables -F#启动服务 [rootxun ~]# systemctl start http…
阅读更多...
Kubernetes架构解析

Kubernetes架构解析

Kubernetes 技术栈的深度解析&#xff0c;涵盖架构设计、核心组件、生态工具及二次开发实践&#xff0c;结合实战案例说明其内在关联&#xff1a; 一、Kubernetes 架构设计 核心分层模型 #mermaid-svg-CnFwJbuzaABZpTBr {font-family:"trebuchet ms",verdana,arial…
阅读更多...
langchain4j整合springboot

langchain4j整合springboot

langchain4j整合springboot 1.搭建项目架子配置文件Controller测试测试结果![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/35b8bd04f3034bd990861f065bc73d2f.png) 1.搭建项目架子 配置文件 参考官网配置引入 <?xml version"1.0" encoding"UTF…
阅读更多...
408第一季 - 数据结构 - 平衡二叉树

408第一季 - 数据结构 - 平衡二叉树

平衡二叉树 定义 缩写记一下 AVL 还有下面这些&#xff0c;can you try&#xff1f; 平衡二叉树的插入 LL平衡旋转&#xff08;右单旋转&#xff09; 怎么理解&#xff1f; 首先我们可以看见啊&#xff0c;b图A左边和右边的不平衡的&#xff0c;非常的难受 于是我们可以这…
阅读更多...
软件测试 第二讲 需求和设计评审

软件测试 第二讲 需求和设计评审

评审
阅读更多...
VR 地震安全演练：“透视” 地震，筑牢企业安全新护盾​

VR 地震安全演练：“透视” 地震，筑牢企业安全新护盾​

与传统的地震安全教育方式相比&#xff0c;VR 地震安全技术具有无可比拟的优势。在过去漫长的岁月里&#xff0c;我们主要依赖书本、讲座和视频等较为常规的手段来了解地震知识和逃生技巧。​ 书本上密密麻麻的文字以及静态的图片&#xff0c;虽然能够较为系统地传递理论性的信…
阅读更多...
30-Oracle 23ai-回顾从前的Flashback设置

30-Oracle 23ai-回顾从前的Flashback设置

配置和测试了Oracle 23 ai的Flashback Log Placement后&#xff0c; 刚好身边11g,19c的环境都在&#xff0c;还是把从前的flashback整理下&#xff0c;温故知新&#xff0c;循序渐进。 一、闪回技术 Flashback Database 允许将整个数据库回退到过去的某个时间点/SCN&#xff…
阅读更多...
Gartner《Reference Architecture for Federated Analytics》学习心得

Gartner《Reference Architecture for Federated Analytics》学习心得

研究背景 随着分析平台越来越易于被广泛用户使用，以及组织内用例的不断增多和多样化，分析架构的去中心化给专注于架构的分析专家带来了混乱。组织在交付一致、可复用和可信的分析方面面临挑战，分布式分析架构需要在控制和敏捷之间取得平衡，然而许多组织在这方面的控制力不…
阅读更多...
Windows下Docker一键部署Dify教程

Windows下Docker一键部署Dify教程

Windows环境下Docker部署Dify完整指南 &#x1f4cb; 目录 系统要求Docker安装验证Docker安装Dify部署访问Dify常见问题管理命令 &#x1f5a5;️ 系统要求 在开始安装之前&#xff0c;请确保你的Windows系统满足以下要求&#xff1a; 硬件要求 CPU: > 2核心内存: >…
阅读更多...
idea maven打包很慢，怎么提速-多线程

idea maven打包很慢，怎么提速-多线程

作为一个技术运维人员&#xff0c;经常要更新程序然后重新打包发布jar包。由于程序子模块多&#xff0c;需要相互引用每次打包的时候都需要很久&#xff0c;怎么可以让打包快一点呢&#xff1f;可以启动打包的多线程。请参照下图设置&#xff0c;线程数量应该和cpu内核数量要能…
阅读更多...
Java/Kotlin selenium 无头浏览器 [Headless Chrome] 实现长截图 三种方式

Java/Kotlin selenium 无头浏览器 [Headless Chrome] 实现长截图 三种方式

在自动化测试和网页抓取中&#xff0c;完整捕获整个页面内容是常见需求。传统截图只能捕获当前视窗内容&#xff0c;无法获取超出可视区域的页面部分。长截图技术通过截取整个滚动页面解决了这个问题&#xff0c;特别适用于&#xff1a; 保存完整网页存档生成页面可视化报告验…
阅读更多...
【AI大模型】Elasticsearch9 + 通义大模型实现语义检索操作详解

【AI大模型】Elasticsearch9 + 通义大模型实现语义检索操作详解

目录 一、前言 二、Elasticsearch9 语义检索介绍 2.1 ES9 语义检索核心特性 2.2 semantic_text 字段类型说明 2.3 ES9 语义检索原理 2.4 ES9 语义检索优势与使用场景 三、 Elasticsearch9 搭建过程 3.1 环境说明 3.2 部署方式一 3.2.1 创建docker网络 3.2.2 获取es9镜…
阅读更多...
linux开机原理以及如何开关机-linux023

linux开机原理以及如何开关机-linux023

linux开机原理以及如何开关机 Linux 系统启动过程概述 阶段描述内核引导启动时&#xff0c;BIOS执行自检&#xff0c;启动设备通常是硬盘。操作系统接管硬件后&#xff0c;读取/boot目录下的内核文件。运行 initinit是系统所有进程的起点&#xff0c;负责启动其他进程。它读取…
阅读更多...
使用 socat 和 xinetd 将程序绑定到端口运行

使用 socat 和 xinetd 将程序绑定到端口运行

在现代网络应用开发和系统管理中&#xff0c;经常需要将某些程序或脚本绑定到特定的网络端口上&#xff0c;以实现远程访问或服务化。例如&#xff0c;一个简单的 Python 脚本可能需要通过 TCP 端口提供服务&#xff0c;或者一个命令行工具需要通过网络接口暴露其功能。为了实现…
阅读更多...
电阻篇---上拉电阻

电阻篇---上拉电阻

一、上拉电阻的定义与本质 定义&#xff1a;上拉电阻是一端连接到电源&#xff08;VCC&#xff09;&#xff0c;另一端连接到电路节点的电阻元件&#xff0c;其核心作用是将该节点的电平 “拉” 至电源电压&#xff0c;使其在无信号输入时保持稳定的高电平状态。 本质原理&…
阅读更多...
前端持续集成和持续部署简介

前端持续集成和持续部署简介

持续集成&#xff08;CI&#xff09;&#xff1a;代码提交后自动触发构建、静态检查、单元测试&#xff0c;确保代码质量。 持续部署&#xff08;CD&#xff09;&#xff1a;通过流水线将测试通过的代码自动发布到测试/生产环境&#xff0c;减少人工操作失误。 CI/CD 工具链 …
阅读更多...
Elasticsearch高效文章搜索实践

Elasticsearch高效文章搜索实践

功能 创建索引和映射 使用postman添加映射和查询 查询所有的文章信息&#xff0c;批量导入到es索引库中 server:port: 9999 spring:application:name: es-articledatasource:driver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://localhost:3306/leadnews_article?useU…
阅读更多...
React 中除了react-router还有哪些路由方案

React 中除了react-router还有哪些路由方案

在用React开发时&#xff0c;常用的路由是react-router &#xff0c;但除此之外&#xff0c;还有两个路由方案&#xff0c;因为他们具备 react-router 没有的特性。 1. tanstack/router 1.1. 主要特性 100% 推断的 TypeScript 支持 类型安全的导航 嵌套路由和布局路由 内置…
阅读更多...
VINS-Fusion 简介、安装、编译、数据集/相机实测

VINS-Fusion 简介、安装、编译、数据集/相机实测

目录 VINS-Fusion 简介 安装 VINS-Fusion 源码安装 运行数据集 双目模式 单目IMU 模式 双目IMU 模式 D455 相机实际运行 双目IMU 模式 VINS-Fusion 简介 VINS-Fusion 是继 VINS-Mono 和 VINS-Mobile&#xff08;单目视觉惯导 SLAM 方案&#xff09;后&#xff0c;香港科 技大学…
阅读更多...
SQL Developer 表复制

SQL Developer 表复制

SQL Developer 表复制 此方法在数据量比较大时&#xff0c;比一条一条的insert要快得多&#xff1b;具体是会覆盖掉原数据&#xff0c;还是增量的处理&#xff0c;请自行创建demo表测试一下。 注意&#xff1a;原库版本要与目标库数据库版本一致&#xff0c;否则可能会报错的。…
阅读更多...
最新文章

Copyright @ 2022~2023