U+平台配置免密登录、安装Hadoop配置集群、Spark配置

文章目录

    • 1、免密登录
    • 2、安装hadoop
    • 3、Spark配置

具体详细报告见资源部分，全部实验内容已经上传，如有需要请自行下载。

1、免密登录

使用的配置命令：

cd ~/.ssh/

ssh-keygen -t rsa

Enter键回车

y

回车

回车

在这里插入图片描述
出现如上所示

cat ./id_rsa.pub >> ./authorized_keys

ssh hadoop01

在这里插入图片描述

exit

scp /root/.ssh/id_rsa.pub root@hadoop02:/root/.ssh/id_rsa.pub

然后输入hadoop02的密码，去复制就行

scp /root/.ssh/id_rsa.pub root@hadoop03:/root/.ssh/id_rsa.pub

然后输入hadoop03的密码，去复制就行

在这里插入图片描述
显示图示这样的，重启就行了。

全部重启一下，从开头输入一下命令，验证：ssh hadoop02

ssh hadoop03

不需要密码，则已经成功，退出：exit

2、安装hadoop

java -version

显示如下：

在这里插入图片描述

nano ~/.bashrc

在文本的最后加入：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

然后保存退出：Ctrl+X，然后输入Y，回车即可

让配置生效：

source ~/.bashrc

验证JAVA_HOME 配置是否成功：

echo $JAVA_HOME

在这里插入图片描述

如上所示JAVA_HOME 已经配置成功

cd /usr/local

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

在这里插入图片描述
在这里插入图片描述

解压：tar -xzvf hadoop-3.3.5.tar.gz

重命名：mv hadoop-3.3.5 /usr/local/hadoop

修改文件权限：chown -R root:root ./hadoop

ls -1 hadoop/

在这里插入图片描述
配置 Hadoop 环境变量：

nano ~/.bashrc

在最下面加入：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出：Ctrl+X,Y,回车

source ~/.bashrc

在这里插入图片描述
检查Hadoop命令是否可用：

cd /usr/local/hadoop

./bin/hadoop version

在这里插入图片描述
配置集群/分布式环境：

修改文件profile：

cd /usr/local/hadoop/etc/hadoop

nano /etc/profile

加入如下内容：

# Hadoop Service Users
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在这里插入图片描述

source /etc/profile

修改文件workers:

nano workers

hadoop01
hadoop02
hadoop03

在这里插入图片描述
保存退出：Ctrl+X,Y,回车

修改文件core-site.xml:

nano core-site.xml

添加如下配置：

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>

在这里插入图片描述

修改文件hdfs-site.xml:

nano hdfs-site.xml

添加如下内容：

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop03:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

在这里插入图片描述
修改文件mapred-site.xml:

nano mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property>
</configuration>

保存退出：Ctrl+X,Y,回车

修改文件 yarn-site.xml：

nano yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

保存退出：Ctrl+X,Y,回车

修改文件hadoop-env.sh：

nano hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

保存退出：Ctrl+X,Y,回车

复制hadoop01节点的Hadoop文件夹，分发:

cd /usr/local

tar -zcf ~/hadoop.master.tar.gz ./hadoop

cd ~

scp ./hadoop.master.tar.gz hadoop02:/root

scp ./hadoop.master.tar.gz hadoop03:/root

在这里插入图片描述
在02中：

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

chown -R root /usr/local/hadoop

在这里插入图片描述
在hadoop03中：

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

chown -R root /usr/local/hadoop

在这里插入图片描述
在hadoop01中：

cd /usr/local/hadoop

./bin/hdfs namenode -format

启动hadoop：

cd /usr/local/hadoop

./sbin/start-dfs.sh

在这里插入图片描述

./sbin/start-yarn.sh

在这里插入图片描述

./sbin/mr-jobhistory-daemon.sh start historyserver

jps

在这里插入图片描述
在hadoop02:jps

在这里插入图片描述
在hadoop03:jps

在这里插入图片描述
回hadoop01:

./bin/hdfs dfsadmin -report

在这里插入图片描述

stop-yarn.sh

在这里插入图片描述

stop-dfs.sh

在这里插入图片描述

mr-jobhistory-daemon.sh stop historyserver

成功结束Hadoop相关配置。

3、Spark配置

将spark解压到/usr/local中：

tar -zxf /root/spark-3.4.2-bin-without-hadoop.tgz -C /usr/local

cd /usr/local

mv ./spark-3.4.2-bin-without-hadoop ./spark

chown -R root ./spark

（2）配置相关文件:

修改spark-env.sh文件:

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

nano ./conf/spark-env.sh

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

在这里插入图片描述
Ctrl+X,Y,回车

发现不对，往回找，然后一个里面内容不对，修改.bashrc文件：

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport SPARK_HOME=/usr/local/spark
export JRE_HOME=${JAVA_HOME}jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:${JAVA_HOME}/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
export PYSPARK_PYTHON=/root/anaconda3/bin/python

Ctrl+X,Y,回车

source ~/.bashrc

(3)设置日志信息:

cd /usr/local/spark/conf

sudo mv log4j2.properties.template log4j.properties

vim log4j.properties

按i进入编辑模式

将里面的rootLogger.level改成=error

在这里插入图片描述
先ESC退出编辑模式，然后保存并退出：在命令模式下输入 :wq，然后按 Enter。

验证Spark是否安装成功:

cd /usr/local/spark

./bin/run-example SparkPi

在这里插入图片描述
使用Anaconda修改Python版本:

conda create -n pyspark python=3.8

y

在这里插入图片描述
切换python环境：

conda activate pyspark

在这里插入图片描述
启动pyspark:

cd /usr/local/spark

./bin/pyspark

在这里插入图片描述
安装 Spark（Spark on YARN模式）:

cd /usr/local/spark

./bin/pyspark --master yarn

成功结束！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/web/87247.shtml
繁体地址，请注明出处：http://hk.pswp.cn/web/87247.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

GitHub vs GitLab 全面对比报告（2025版）

GitHub vs GitLab 全面对比报告（2025版）

从技术架构到金融估值&#xff0c;深度解析两大代码托管平台的差异化竞争策略 一、技术架构对比 维度GitHub (Microsoft旗下)GitLab (独立上市公司)关键差异核心架构- 分布式Git仓库 Issues/Projects- 全栈DevSecOps平台GitLab集成CI/CD、安全、监控部署模式- SaaS为主 - Git…
阅读更多...
Python 数据分析与可视化 Day 14 - 建模复盘 + 多模型评估对比（逻辑回归 vs 决策树）

Python 数据分析与可视化 Day 14 - 建模复盘 + 多模型评估对比（逻辑回归 vs 决策树）

✅ 今日目标 回顾整个本周数据分析 & 建模流程学会训练第二种模型&#xff1a;决策树&#xff08;Decision Tree&#xff09;掌握多模型对比评估的方法与实践输出综合对比报告&#xff1a;准确率、精确率、召回率、F1 等指标为后续模型调优与扩展打下基础 &#x1fa9c; 一…
阅读更多...
本周大模型新动向：KV缓存混合精度量化、个体时空行为生成、个性化问答

本周大模型新动向：KV缓存混合精度量化、个体时空行为生成、个性化问答

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入&#xff01; 01 KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache 大型语言模型&#xff08;LLMs&#xff09;在推理过程中&#xff0c;键值&#xff08;KV&#xff09;缓存的高内…
阅读更多...
在 Spring Boot 中使用 WebMvcConfigurer

在 Spring Boot 中使用 WebMvcConfigurer

WebMvcConfigurer 是 Spring MVC 提供的一个扩展接口&#xff0c;用于配置 Spring MVC 的各种功能。在 Spring Boot 应用中&#xff0c;通过实现 WebMvcConfigurer 接口&#xff0c;可以定制和扩展默认的 Spring MVC 配置。以下是对 WebMvcConfigurer 的详细解析及其常见用法。…
阅读更多...
w-笔记：uni-app的H5平台和非H5平台的拍照识别功能：

w-笔记：uni-app的H5平台和非H5平台的拍照识别功能：

uni-app的H5平台和非H5平台的拍照识别功能&#xff1a; <template><view class"humanVehicleBinding"><view v-if"warn" class"shadow"></view><view class"header"><uni-nav-bar left-icon"l…
阅读更多...
TCP 半连接队列和全连接队列(结合 Linux 2.6.32 内核源码分析)

TCP 半连接队列和全连接队列(结合 Linux 2.6.32 内核源码分析)

文章目录 一、什么是 TCP 半连接队列和全连接队列二、TCP 全连接队列1、如何查看进程的 TCP 全连接队列大小&#xff1f;注意 2、TCP 全连接队列溢出问题注意 3、TCP 全连接队列最大长度 三、TCP 半连接队列1、TCP 半连接队列溢出问题2、TCP 半连接队列最大长度3、引申问题 一、…
阅读更多...
linux下fabric环境搭建

linux下fabric环境搭建

参考教程&#xff1a; https://devpress.csdn.net/cloudnative/66d58e702045de334a569db3.html?dp_tokeneyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpZCI6MjA2MzY4NywiZXhwIjoxNzQwMzY4MDc0LCJpYXQiOjE3Mzk3NjMyNzQsInVzZXJuYW1lIjoiaHVhbmd0dXBpIn0.oh8e4F6Sw_A4SV2ODQ5W0pYK0…
阅读更多...
Redis Pipeline介绍：提高操作Redis数据库的执行效率

Redis Pipeline介绍：提高操作Redis数据库的执行效率

Redis Pipeline是一种用于提高Redis执行效率的技术&#xff0c;通过减少客户端与服务器之间的通信开销&#xff0c;显著提升批量操作的性能。本文将详细介绍Redis Pipeline的概念、使用场景、实现方式及其优势。 一、Redis Pipeline的概念 Redis Pipeline是一种批处理机制&am…
阅读更多...
linux长时间锁屏无法唤醒

linux长时间锁屏无法唤醒

是的&#xff0c;您这么理解很直接&#xff0c;抓住了要点。 简单来说&#xff0c;就是这样&#xff1a; 电脑睡觉有两种方式&#xff1a; 打个盹&#xff08;挂起/Suspend&#xff09;&#xff1a; 把工作状态保存在内存里。这个一般和 Swap 分区没关系。睡死过去&#xff…
阅读更多...
STM32F103_Bootloader程序开发11 - 实现 App 安全跳转至 Bootloader

STM32F103_Bootloader程序开发11 - 实现 App 安全跳转至 Bootloader

导言 想象一下&#xff0c;我们的单片机 App 正在稳定地运行着&#xff0c;突然我们想给它升级一下&#xff0c;添加个新功能。我们该如何安全地通知它&#xff1a;“嘿&#xff0c;准备好接收新固件了” ? 这就需要 App 和 Bootloader 之间建立一个可靠的"秘密握手"…
阅读更多...
Explain解释

Explain解释

参考官方文档&#xff1a;https://dev.mysql.com/doc/refman/5.7/en/explain-output.html explain关键字可以分析你的查询语句的结构和性能。 explain select查询&#xff0c; 执行会返回执行计划的信息。 注意&#xff1a;如果from中有子查询&#xff0c;仍然会执行该子查询…
阅读更多...
选择 PDF 转 HTML 转换器的 5 个关键特性

选择 PDF 转 HTML 转换器的 5 个关键特性

市面上有很多 PDF 转 HTML 的转换器&#xff0c;每一款产品都有不同的功能组合。要理清并理解每个功能可能会让人感到困惑。那么&#xff0c;真正重要的是什么呢&#xff1f; 这篇文章将介绍我们认为在选择最佳 PDF 转 HTML 转换器时最重要的 5 个关键特性&#xff1a; 1. 转换…
阅读更多...
使用堡塔在服务器上部署宝塔面板-linux版

使用堡塔在服务器上部署宝塔面板-linux版

使用堡塔在服务器上部署宝塔面板-linux版 使用堡塔多机管理登录服务器 进入宝塔官网&#xff0c;获取安装脚本 wget -O install_panel.sh https://download.bt.cn/install/install_panel.sh && sudo bash install_panel.sh ed8484bec3. 在堡塔多机管理中&#xff0c;…
阅读更多...
【Unity高级】Unity多界面游戏场景管理方案详解

【Unity高级】Unity多界面游戏场景管理方案详解

引言&#xff1a;游戏界面管理的挑战 在Unity游戏开发中&#xff0c;尤其是包含多个功能界面&#xff08;如主菜单、关卡选择、游戏页面、设置和商城&#xff09;的游戏&#xff0c;如何高效管理场景与界面是架构设计的核心挑战。本文将深入探讨三种主流实现方案&#xff1a;单…
阅读更多...
WINDOWS最快布署WEB服务器：apache2

WINDOWS最快布署WEB服务器：apache2

安装JDK下载 https://tomcat.apache.org/ Index of /dist/tomcat/tomcat-9 安装测试 http://localhost:8080/ 替换自己的文件 把自己的文件复制到&#xff1a; C:\Program Files\Apache Software Foundation\Tomcat 9.0\webapps\ROOT
阅读更多...
Microsoft Edge 打开无反应、打开后显示兼容性问题、卸载重装 解决方案。一键卸载Microsoft Edge 。

Microsoft Edge 打开无反应、打开后显示兼容性问题、卸载重装 解决方案。一键卸载Microsoft Edge 。

背景&#xff1a;网络上的浏览器修复、重装、恢复默认应用测试后无用&#xff0c;以下卸载重装方案经实测可以正常使用Microsoft Edg。 卸载软件在资源里&#xff0c;请自取。 一、卸载软件&#xff1a;Remove-Edge_GUI.exe 双击卸载等待即可。 二、在微软商店重新安装Micro…
阅读更多...
Spring Boot - 参数校验：分组校验、自定义注解、嵌套对象全解析

Spring Boot - 参数校验：分组校验、自定义注解、嵌套对象全解析

01 依赖配置 在构建高效的校验体系前&#xff0c;需先完善项目依赖配置。 以下是优化后的依赖示例&#xff1a; <dependencies><!-- Web 依赖&#xff0c;提供 RESTful 接口支持 --><dependency><groupId>org.springframework.boot</groupId>…
阅读更多...
深入浅出多模态》（十一）之多模态经典模型：Flamingo系列

深入浅出多模态》（十一）之多模态经典模型：Flamingo系列

&#x1f389;AI学习星球推荐&#xff1a; GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料&#xff0c;配有全面而有深度的专栏内容&#xff0c;包括不限于 前沿论文解读、…
阅读更多...
基于Pandas和FineBI的昆明职位数据分析与可视化实现（三）- 职位数据统计分析

基于Pandas和FineBI的昆明职位数据分析与可视化实现（三）- 职位数据统计分析

文章目录 一、职位数据分析1. 一级分类职位数量统计分析2. 职位二级分类分布分析3. 职位分布分析4. 工作经验需求分布分析5. 学历要求职位分布分析6. 企业职位供给前507. 不同规模公司的职位数量统计8. 区域职位分布分析9. 各区域平均薪资范围分布分析10. 不同工作经验平均薪资…
阅读更多...
大数据Hadoop之——安装部署hadoop

大数据Hadoop之——安装部署hadoop

目录 前期准备 一、JDK的安装 1、安装jdk 2、配置Java环境变量 3、加载环境变量 4、进行校验 二、hadoop的环境搭建 1、hadoop的下载安装 2、配置文件设置 2.1. 配置 hadoop-env.sh 2.2. 配置 core-site.xml 2.3. 配置 hdfs-site.xml 2.4. 配置 yarn-site.xml 2.…
阅读更多...
最新文章

Copyright @ 2022~2023