【CDH × Docker】一次测试部署,N 次复用的环境镜像方案

🚀 一次测试环境的探索:我如何将 CDH 集群打包成 Docker 镜像,留给未来的自己

🧩 背景故事

最近在项目中,我们计划上线一个基于 CDH(Cloudera Distribution Hadoop) 的大数据平台。正式上生产环境之前,我被安排在测试环境先搭建一套完整的 CDH 集群做功能验证与调优。

当一切配置跑通后,我意识到一个问题:

既然花了这么大力气把 CDH 集群搭建成功了,为什么不把它打包起来,未来不论是重建、迁移、分享、还是快速启动一套环境,都能一步到位?

于是,我决定将运行中的 CDH 集群容器 打包成镜像,留给未来的我和团队使用。


🧱 准备阶段:集群容器已经搭建成功

我在测试环境中,通过 docker-compose 启动了以下几个容器:

  • cloudera-manager(CM 管理端)
  • cdh-node1(Worker 节点)
  • cdh-node2(Worker 节点)

经过配置后,这些节点已经通过 Cloudera Manager 成功部署了 HDFS、YARN、Zookeeper、Hive 等组件,整个环境运行稳定。

下一步,就是把这些容器打包成镜像。


🧰 正式开始:将容器打包为镜像

① 查看当前运行的容器

docker ps

输出类似:

CONTAINER ID   IMAGE           NAMES
a1b2c3d4e5f6   cdh-node-base   cdh01.hadoop
b2c3d4e5f6g7   cdh-node-base   cdh02.hadoop
c3d4e5f6g7h8   cdh-node-base   cm.hadoop

② 使用 docker commit 打包容器

将运行中的容器保存为镜像:

docker commit cdh01.hadoop cdh-node:v1.0
docker commit cm.hadoop cloudera-manager:v1.0

💡 提示:你也可以为不同角色创建不同镜像,如 cdh-workercdh-manager

③ 查看镜像是否生成成功

docker images

你会看到类似:

REPOSITORY          TAG       IMAGE ID       CREATED          SIZE
cdh-node            v1.0      bb8927b5208b        10 seconds ago   9.28GB
cloudera-manager    v1.0      34f5886ee4df        8 seconds ago    13GB

📦 可选:导出镜像为 .tar 文件(备份 or 迁移)

如果你希望将镜像导出分享或备份:

docker save -o cdh-node-v1.0.tar cdh-node:v1.0
docker save -o cloudera-manager-v1.0.tar cloudera-manager:v1.0

导入方式也很简单:

docker load -i cdh-node-v1.0.tar

🧪 验证镜像是否可用

你可以新建一台测试机或容器环境,然后通过这些镜像启动:

docker run -it --name test-node cdh-node:v1.0 /bin/bash

在容器内检查配置文件、服务是否存在、CM 是否能识别 agent,一切正常的话,这就是你的 “克隆模板”!


🧭 总结

这次在测试环境中构建并打包 CDH 镜像的经历,让我明白了两件事:

  1. 测试环境的努力不应浪费:通过镜像,我们把环境“冻结”,未来重建无压力;
  2. 运维自动化的第一步就是可复用性:只要基础环境一致,我们可以任意克隆、部署、分发。

留给未来的自己一个打包好的环境,是对自己最温柔的善意。


🔖 最后附上一键打包脚本(可选)

#!/bin/bashcontainers=("cdh01.hadoop" "cdh02.hadoop" "cm.hadoop")
for name in "${containers[@]}"; doimage_name="${name}-image:v1.0"echo "打包容器 $name 为镜像 $image_name"docker commit "$name" "$image_name"
done

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/93892.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/93892.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java 日期时间格式化模式说明

Java 中日期时间格式化使用特定的模式字符串来定义输出格式。以下是常见的格式化符号及其含义,适用于 SimpleDateFormat 和 DateTimeFormatter一、日期部分格式化符号符号含义示例y年 (Year)yyyy → 2023M月 (Month)MM → 09, MMM → Sep, MMMM → Septemberd月中的…

代码随想录算法训练营三十三天|动态规划part06

LeetCode 322 零钱兑换 题目链接:322. 零钱兑换 - 力扣(LeetCode) 给你一个整数数组 coins ,表示不同面额的硬币;以及一个整数 amount ,表示总金额。 计算并返回可以凑成总金额所需的 最少的硬币个数 。…

【大模型LLM】大模型训练加速 - 梯度累积(Gradient Accumulation)原理详解

梯度累积(Gradient Accumulation)原理详解 梯度累积是一种在深度学习训练中常用的技术,特别适用于显存有限但希望使用较大批量大小(batch size)的情况。通过梯度累积,可以在不增加单个批次大小的情况下模拟…

【数据分享】各省文旅融合耦合协调度及原始数据(2012-2022)

数据介绍引言 文旅融合是推动区域经济高质量发展、促进共同富裕的重要路径。党的二十大报告明确提出“推进文化和旅游深度融合发展”的战略目标,文旅产业通过资源整合与业态创新,可显著缩小城乡、区域差距,提升物质与精神双重福祉&#xff08…

Linux编程: 10、线程池与初识网络编程

今天我计划通过一个小型项目,系统讲解线程池与网络编程的核心原理及实践。项目将围绕 “利用线程池实现高并发网络通信” 这一核心需求展开,具体设计如下: 为保证线程安全,线程池采用单例模式设计,确保全局唯一实例避…

藏云阁 Logo 库(开源项目SVG/PNG高清Logo)

在日常技术方案设计、架构图绘制或PPT制作中,常常会遇到一些问题,比如: 找不到统一风格的开源项目组件图标,PPT中的logo五花八门下载的图标分辨率不足,放大后模糊失真不同来源的图标颜色风格冲突,破坏整体…

从0开始学习R语言--Day64--决策树回归

对于没有特征或者说需要寻找另类关系的数据集,我们通常会用聚合或KNN近邻的方法来分类,但这样的分类或许在结果上是好的,但是解释性并不好,有时候我们甚至能看到好的结果反直觉;而决策树回归做出的结果,由于…

B+树高效实现与优化技巧

B树的定义 一颗M阶B树T,满足以下条件 每个结点至多拥有M课子树 根结点至少拥有两颗子树 除了根结点以外,其余每个分支结点至少拥有M/2课子树 所有的叶结点都在同一层上 有k棵子树的分支结点则存在k-1个关键字,关键字按照递增顺序进行排序 关键字数量满足 ceil( M/2 ) - 1 &…

Android 基础入门学习目录(持续更新)

四大组件 Activity: Service: BroadcastReceiver: ContentProvider: UI 与交互开发 常见的UI布局和UI控件 样式与主题 Fragment Intent 数据存储 自定义View和自定义Group 自定义View 自定义ViewGroup 事件分发 Key…

Linux移动大量文件命令

背景 使用 mv 命令报“/bin/mv: 参数列表过长”,也是第一遇到,查了一下,最后用rsync命令解决了。还好每台服务器,都必装rsync了,记录如下。 命令 nohup rsync -av --remove-source-files --progress /public/tmp/video…

SQL中的HAVING用法

HAVING 是 SQL 中专门对 “分组之后的聚合结果” 再做筛选的子句。 它一般跟在 GROUP BY 后面,不能单独使用,作用类似于分组版的 WHERE。✅ 1. 语法位置 SELECT 列1, 聚合函数(列2) AS 别名 FROM 表 GROUP BY 列1 HAVING 聚合条件; -- 这里写对聚合…

【Halcon 】Halcon 实战:如何为 XLD 模板添加极性信息以提升匹配精度?

Halcon 实战:如何为 XLD 模板添加极性信息以提升匹配精度? 在使用 Halcon 进行模板匹配时,我们通常有两种方式创建模板: 基于图像灰度(CreateScaledShapeModel)基于轮廓 XLD(CreateScaledShapeM…

grafana/lock-stack 日志 Pipeline 配置

前言 本文使用的是 grafana/loki-stack chart 抓取的 k8s 日志。其他 chart 配置都差不多。 日志问题 docker 容器运行时 pod 内原始日志 [cpu-4] Hello, 第 9788 次报时,时间:2025-08-01T06:35:420000 {"HOSTNAME":"cpu-4",&qu…

appium2.0+之PointerActions详解

以下内容在 夜神模拟器 上进行。 一、应用场景 一些针对手势的操作,比如滑动、长按、拖动等。可以将这些基本手势组合成一个相对复杂的手势。 二、使用步骤创建触摸输入设备(模拟手指操作) touch_input PointerInput(interaction.POINTER_TO…

Java HTTPS 请求失败排查与证书导入全过程

文章目录Java HTTPS 请求失败排查与证书导入全过程问题背景问题初步分析排查过程查看目标地址证书导入证书验证证书是否导入成功重启应用进一步验证:是否真的是证书问题?1. 浏览器访问2. 抓包工具验证(如 Charles、Wireshark)补充…

android APT技术

1,背景 对于注解的使用,想必大家都不陌生,它出现在我们的源码中,以及大部分框架中,比如ButterKnife、Arouter、Retrofit,但它们是有区别的,其中前2个是编译时注解,最后一个是运行时注…

MySQL 和 PostgreSQL综合比对分析汇总

面对大数据项目或其它类型项目中,面对关系型数据库选择一直是很总要的一点,本文针对MySQL 和 PostgreSQL进行综合比对分析汇总,内容仅供参考。MySQL 和 PostgreSQL 是两款主流的开源关系型数据库(RDBMS),但…

Linux---make和makefile

一、基本概念1.是什么make是一条命令,makefile是一个文件2.对应在vs中按一下f5就能运行代码,在Linux中make就相当于f5,使用makefile来封装从而实现我, 想要的功能3.使用①创建makefile文件②编辑makefile解释:test.exe…

【DAB收音机】DAB收音机协议及其他资料汇总

目录[ETSI DAB标准协议文档](https://www.etsi.org/standards)Other DAB资料DAB收音机相关的专利DAB收音机相关的期刊及学位论文DAB开源项目代码仓库qt-dab工具welle.io工具dablin工具【eti广播工具】⚙️ 项目对比与选型建议Other 收音机资料Other资料ETSI DAB标准协议文档 官…

RabbitMQ的特点和消息可靠性保障

掌握RabbitMQ的核心知识,需从其特点和消息可靠性保障(尤其是消息丢失解决方案)两方面入手,以下是详细说明: 一、RabbitMQ的核心特点 RabbitMQ是基于AMQP(Advanced Message Queuing Protocol)协议…