CDH部署Hive详细指南
本文将详细介绍如何使用Cloudera Manager Web界面部署Hive组件,包括安装、配置、优化和运维管理等内容。
1. 环境准备
1.1 系统要求
1.1.1 硬件要求
-
服务器配置
- CPU:建议8核以上
- 内存:建议32GB以上
- 磁盘:建议使用企业级SAS或SSD
- 网络:建议万兆网络
-
集群规模
- 小型集群:3-5节点
- 中型集群:6-20节点
- 大型集群:20节点以上
1.1.2 软件要求
-
操作系统
- CentOS 7.x
- RHEL 7.x
- Ubuntu 16.04/18.04
- 建议使用64位系统
-
依赖服务
- HDFS(已安装)
- ZooKeeper(已安装)
- MySQL(用于存储元数据)
- JDK 8
1.2 数据库准备
1.2.1 MySQL配置
-
安装MySQL
- 安装MySQL服务器
- 配置MySQL服务
- 设置root密码
- 配置远程访问
-
创建数据库
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT