Hadoop JMX 配置的完整文档

一、JMX 基础概念与 Hadoop 支持

1、JMX 作用。

Java Management Extensions（JMX）提供标准 API 监控 JVM 应用运行时状态（内存、线程、GC）及 Hadoop 组件指标（HDFS 容量、RPC 性能、节点状态）

2、Hadoop 组件 JMX 支持

  • NameNode：FSNamesystemState（文件系统状态）、NameNodeActivity（操作统计）
  • DataNode：DataNodeActivity（数据传输）、FSDatasetState（存储状态）
  • ResourceManager：ClusterMetrics（集群资源）、QueueMetrics（队列负载）
  • NodeManager：NodeManagerMetrics（容器状态）、ShuffleMetrics（Shuffle 性能）

二、配置

1、namenode

http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeActivity
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=JvmMetrics
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8020
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020
http://hadoop24:9870/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8022

2、resourceManager

http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=ClusterMetrics
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=JvmMetrics
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8030
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8031
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8032
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8033
http://hadoop24:8088/jmx?qry=java.lang:type=GarbageCollector,name=ConcurrentMarkSweep
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=FSOpDurations
http://hadoop24:8088/jmx?qry=Hadoop:service=ResourceManager,name=EventMetrics

3、datanode

http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=DataNodeActivity-%s-%s 
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=JvmMetrics
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=RpcActivityForPort%s
http://hadoop1:50076/jmx?qry=Hadoop:service=DataNode,name=FSDatasetState-%s

4、nodemanager

http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=JvmMetrics
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=NodeManagerMetrics
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8040
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8041
http://hadoop11:8042/jmx?qry=Hadoop:service=NodeManager,name=ShuffleMetrics

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/news/917027.shtml
繁体地址，请注明出处：http://hk.pswp.cn/news/917027.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

arm架构系统打包qt程序--麒麟操作系统为例

arm架构系统打包qt程序--麒麟操作系统为例

检查系统架构 uname -a如果显示是aarch644或arm64，说明你使用的是ARM架构，，需要下载ARM版本。 下载对应架构的linuxdeployqt 编写脚本 vim deploy.sh#!/bin/bash APP_NAME"sunny450_silc"# 确保deploy目录存在 mkdir -p deploy# 复…
阅读更多...
Kong API Gateway深度解析：插件系统与微服务架构的技术基石

Kong API Gateway深度解析：插件系统与微服务架构的技术基石

在微服务（microservices）架构主导的今天，API网关（API Gateway）作为服务入口的“交通枢纽”，承担着流量调度、安全防护、可观测性（observability）等核心职责。Kong作为开源API网关领域…
阅读更多...
Linux应用开发基础知识——Makefile初级教程（九）

Linux应用开发基础知识——Makefile初级教程（九）

目录 一、Makefile是啥？ 1.1、了解几种文件（.o 文件和.c文件 ） 1.2、关于Makefile的写法 1.3、简单使用Makefile基本指令 1.4、引入伪目标 1.5、Makefile的优点 1.6、Makefile的使用 二、Makefile创建和使用变量 2.1、创建变量的目的…
阅读更多...
面试问题收集——卷积神经网络

面试问题收集——卷积神经网络

博主会经常分享自己在人工智能阶段的学习笔记，欢迎大家访问我滴个人博客！（养成系Blog！） 小牛壮士滴Blog~ - 低头赶路 敬事如仪https://kukudelin.top/ 01-卷积基础知识 问：简述卷积基本操作，…
阅读更多...
Kubernetes 全面解析：从基础设施变革到核心架构详解

Kubernetes 全面解析：从基础设施变革到核心架构详解

引言在容器化技术席卷全球的今天，Kubernetes（简称 K8s）已成为容器编排领域的事实标准。无论是互联网企业还是传统行业，都在通过 Kubernetes 实现应用的高效部署、弹性扩展和自动化运维。但对于初学者而言，Kubernetes 的…
阅读更多...
哈希相关的模拟实现

哈希相关的模拟实现

哈希相关的模拟实现哈希表的模拟实现闭散列除留取余法查找、插入和删除闭散列参考程序开散列除留取余法（数组链表）迭代器查找和删除插入开散列参考程序unordered_map和unordered_set的模拟实现unordered_mapunordered_set建议先看 哈希的概念及其应用-CS…
阅读更多...
Vue3+Vite项目如何简单使用tsx

Vue3+Vite项目如何简单使用tsx

安装必要的依赖npm install vitejs/plugin-vue-jsx -D在 vite.config.ts 中添加以下内容import vueJsx from vitejs/plugin-vue-jsx export default {plugins: [vueJsx()] }在Vue页面使用<script lang"ts"> import { defineComponent } from vue export defaul…
阅读更多...
05百融云策略引擎项目交付-laravel实战完整交付定义常量分文件配置-独立建立lib类处理-成功导出pdf-优雅草卓伊凡

05百融云策略引擎项目交付-laravel实战完整交付定义常量分文件配置-独立建立lib类处理-成功导出pdf-优雅草卓伊凡

05百融云策略引擎项目交付-laravel实战完整交付定义常量分文件配置-独立建立lib类处理-成功导出pdf-优雅草卓伊凡引言此前只是把关于如何把查询内容导出pdf库的代码实现了&#xff0c;但是我们并没有完成整个项目&#xff0c;这最后一个步骤就是安装composer再安装tcpdf库&…
阅读更多...
模型训练速度慢排查

模型训练速度慢排查

一、nvidia-smi 查看 GPU 的利用率与显存。若 GPU 利用率低或波动&#xff0c;说明 CPU 处理数据的速度跟不上 GPU 计算的速度&#xff0c;需要检查数据传输并调整 num_workers&#xff1b;若 GPU 显存充足&#xff0c;可以逐步增加 batch_size_per_card 直至显存占满&#xff…
阅读更多...
STM32学习记录--Day4

STM32学习记录--Day4

今天了解了一下SPI总线&#xff1a;1.SPI内部结构​​&#x1f50c; SPI 四大核心引脚功能详解​​1. ​​MOSI (Master Output Slave Input)​​​​功能​​&#xff1a;​​主机输出数据线​​​​工作流程​​&#xff1a;主机内部发送数据寄存器 (TxDR) 的数据 → 移位寄存…
阅读更多...
【网络安全】等级保护2.0解决方案

【网络安全】等级保护2.0解决方案

等保2.0&#xff08;网络安全等级保护2.0&#xff09;是我国网络安全领域的基础性制度&#xff0c;在1.0版本基础上扩展了云计算、大数据、物联网等新兴领域&#xff0c;形成覆盖全场景的安全防护框架。其核心是按信息系统重要程度划分等级&#xff08;1-5级&#xff09;&#…
阅读更多...
TypeScript 基础介绍（二）

TypeScript 基础介绍（二）

引言&#xff1a;从基础到结构化类型 在《TypeScript 基础介绍&#xff08;一&#xff09;》TypeScript基础介绍&#xff08;一&#xff09;-CSDN博客中&#xff0c;我们探讨了 TypeScript 的类型系统基础、联合类型、类型断言和类型守卫等核心特性。这些内容解决了 JavaScript…
阅读更多...
【科研绘图系列】R语言绘制线性相关性

【科研绘图系列】R语言绘制线性相关性

文章目录 介绍 加载R包 数据下载 导入数据 数据预处理 画图 系统信息 参考 介绍 【科研绘图系列】R语言绘制线性相关性 加载R包 library(tidyverse) library(ggplot2) library(ggsignif) library(RColorBrewer) library(dplyr) library(reshape2
阅读更多...
FastAPI的请求-响应周期为何需要后台任务分离？

FastAPI的请求-响应周期为何需要后台任务分离？

url: /posts/c7b54d6b3b6b5041654e69e5610bf3b9/ title: FastAPI的请求-响应周期为何需要后台任务分离？ date: 2025-07-31T06:11:25+08:00 lastmod: 2025-07-31T06:11:25+08:00 author: cmdragon summary: FastAPI 的请求-响应周期遵循 ASGI 协议，类似于餐厅点餐流程。同步处…
阅读更多...
多种录音笔录音芯片方案推荐

多种录音笔录音芯片方案推荐

多种录音笔录音芯片方案推荐一、引言随着信息技术的飞速发展&#xff0c;录音笔作为一种重要的音频记录设备&#xff0c;在会议记录、采访、学习等众多场景中得到广泛应用。其核心的录音芯片方案直接影响录音质量、功能特性以及产品成本。唯创知音作为音频芯片领域的知名厂商&a…
阅读更多...
Linux系统编程Day2-- Linux常用操作

Linux系统编程Day2-- Linux常用操作

一、Linux 基本命令概览以下是一些常用的Linux命令操作&#xff0c;后续我们会对其每个单独如何使用进行讲解。操作类型常用命令示例文件/目录操作ls, cd, cp, mv, rm, mkdir, rmdir查看文件内容cat, less, more, head, tail查找操作find, grep, locate, which权限管理chmod, c…
阅读更多...
cs336 assignment1 作业环境配置

cs336 assignment1 作业环境配置

代码结构 所有的代码写到cs336_basics/* 下面&#xff0c;在adapters.py里调用自己的.py&#xff0c;通过所有的test。 作业资料参考 karpathy视频仓库&#xff1a; 视频 github仓库 测试项目运行环境 下载uv uv官网仓库 使用命令&#xff1a; powershell -ExecutionPoli…
阅读更多...
YOLOv11来了，使用YOLOv11训练自己的数据集和推理(附YOLOv11网络结构图)

YOLOv11来了，使用YOLOv11训练自己的数据集和推理(附YOLOv11网络结构图)

文章目录前言一、YOLOv11代码下载地址1.YOLOv11模型结构图二、数据集准备1.数据集标注软件2.voc数据集格式转换3.数据集划分4.修改yolo的训练配置文件三、YOLO环境配置教程1.pytorch环境安装2.其他依赖安装四、YOLOv11训练五、YOLOv11推理六、解决训练过程中断怎么继续上次训练…
阅读更多...
20250731在荣品的PRO-RK3566开发板的Android13下跑通敦泰的FT8206触控芯片

20250731在荣品的PRO-RK3566开发板的Android13下跑通敦泰的FT8206触控芯片

20250731在荣品的PRO-RK3566开发板的Android13下跑通敦泰的FT8206触控芯片 2025/7/31 17:48缘起&#xff1a;本文前置条件&#xff1a;已经解决FT8206和PRO-RK3566的硬件连接。 通过i2cdect可以扫描到i2c从机地址&#xff1a;0x38。【8位地址为0x70】缘起&#xff1a;本文只分析…
阅读更多...
异常检测：算法分类及经典模型概览

异常检测：算法分类及经典模型概览

第一部分&#xff1a;异常检测的核心概念 在深入算法细节之前&#xff0c;理解异常检测的“语境”至关重要。 1. 什么是异常检测&#xff1f; 异常检测&#xff08;Anomaly Detection 或 Outlier Detection&#xff09;旨在通过数据挖掘技术&#xff0c;识别出数据集中与大多数…
阅读更多...
最新文章

Copyright @ 2022~2023