hadoop集群监控总结

news/2024/7/16 5:13:43

1、取自ResourceManager REST API’s指标;

https://hadoop.apache.org/docs/r2.8.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

http://<rm http address:port>/ws/v1/cluster/metrics

http://**.**.***.208:8088/ws/v1/cluster/metrics

集群节点状态信息指标

 

2、取自hadoop的jmx指标

1、资源使用情况指标

http://**.**.***.208:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo

http://**.**.***.209:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo

2、负载情况

http://**.**.***.208:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem

http://**.**.***.209:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem

3、对于每个RPC服务监控指标

http:///**.**.***.208:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020

http:///**.**.***.209:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020

"RpcProcessingTimeAvgTime" : ,

"CallQueueLength" : 0

 

#Hadoop Configurations
#HdfsHead----url
HdfsHead_metrics_url01=http://**.**.***.208:8088/ws/v1/cluster/metrics
HdfsHead_metrics_url02=http://**.**.***.209:8088/ws/v1/cluster/metrics
#getLiveNodeInfo----url
hadoop_getNodeInfo_url01=http://**.**.***.208:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
hadoop_getNodeInfo_url02=http://**.**.***.209:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo
#getload----url-----tag.HAState/tag.Hostname/TotalLoad
hadoop_getload_url01=http://**.**.***.208:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem
hadoop_getload_url02=http://**.**.***.209:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem

 

参考:

https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting#HadoopJMXMonitoringandAlerting-MetricsCollector

https://hadoop.apache.org/docs/r2.8.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/Metrics.html#rpc

http://hackershell.cn/?p=1355


http://www.niftyadmin.cn/n/3537924.html

相关文章

CDH5.15.0安装spark2.3

简介&#xff1a; 在我的CDH5.15.0集群中&#xff0c;默认安装的spark是1.6版本&#xff0c;这里需要将其升级为spark2.x版本。经查阅官方文档&#xff0c;发现spark1.6和2.x是可以并行安装的&#xff0c;也就是说可以不用删除默认的1.6版本&#xff0c;可以直接安装2.x版本&a…

java sqoop api 导mysql数据到hdfs

package com.example.demo.controller;import org.apache.hadoop.conf.Configuration; import org.apache.sqoop.Sqoop; import org.apache.sqoop.tool.SqoopTool; import org.apache.commons.lang3.StringUtils; /*** 创建人 **** 创建时间 2018/12/20*/ public class sqoopte…

centos安装mysql 在线安装

yum install mysql-server -y service mysqld start chkconfig mysqld on chkconfig --list mysqld mysql 进入mysql命令行接口 mysql -u root; use mysql; select user, host, password from user; CREATE USER yishikeji% IDENTIFIED BY yishikeji; GRANT ALL PRIVILEGES ON…

Java几种常用JSON库性能比较

SON不管是在Web开发还是服务器开发中是相当常见的数据传输格式&#xff0c;一般情况我们对于JSON解析构造的性能并不需要过于关心&#xff0c;除非是在性能要求比较高的系统。 目前对于Java开源的JSON类库有很多种&#xff0c;下面我们取4个常用的JSON库进行性能测试对比&…

我司Spark迁移Hive数据到MongoDB生产案例代码

github地址&#xff1a;https://github.com/yanglin502/sparkhivetomg/tree/master/sparkhivetomg 文章转自 若泽大数据&#xff1a;https://open.weixin.qq.com/connect/oauth2/authorize?appidwxc8cfdff818e686b9&redirect_urihttp%3A%2F%2Fkf.qq.com%2Ftouch%2Fsappfa…

代码 | Spark读取mongoDB数据写入Hive普通表和分区表

版本&#xff1a; spark 2.2.0 hive 1.1.0 scala 2.11.8 hadoop-2.6.0-cdh5.7.0 jdk 1.8 MongoDB 3.6.4 一 原始数据及Hive表 MongoDB数据格式 {"_id" : ObjectId("5af65d86222b639e0c2212f3"),"id" : "1","name" …

HBase2.0新特性之In-Memory Compaction

摘要&#xff1a; In-Memory Compaction是HBase2.0中的重要特性之一&#xff0c;通过在内存中引入LSM结构&#xff0c;减少多余数据&#xff0c;实现降低flush频率和减小写放大的效果。本文根据HBase2.0中相关代码以及社区的讨论、博客&#xff0c;介绍In-Memory Compaction的使…

HBase 入门之数据刷写(Memstore Flush)详细说明

文章转自微信公众号&#xff1a;iteblog_hadoop 接触过 HBase 的同学应该对 HBase 写数据的过程比较熟悉&#xff08;不熟悉也没关系&#xff09;。HBase 写数据&#xff08;比如 put、delete&#xff09;的时候&#xff0c;都是写 WAL&#xff08;假设 WAL 没有被关闭&#xf…