显示当前Hadoop集群节点上启动的进程

#!/bin/sh
#查看hadoop的运行状态
function hadoopState(){
	COUNT=1
	while [ ${COUNT} -le ${NUM} ]
	do
		echo "**********查看hadoop${COUNT}上hadoop的运行状态********"
		#连接远程主机查看运行状态
		ssh -t -p 22 hadoop${COUNT} "jps"
		COUNT=$((${COUNT}+1))
	done
}

echo "=====查看hadoop的运行状态===="
NUM=$1 #hadoop 集群的数量
echo "您输入的的NUM为${NUM}"
if test !${NUM};then #如果没有参数的输入,默认为3
	NUM=3
	hadoopState #执行前面定义的hadoopState方法,无参数时可以直接调用方法名
else
	hadoopState #执行前面定义的hadoopState方法,无参数时可以直接调用方法名

fi
echo "***********=====查看结束====***************"

脚本的使用只是为了自己操作Hadoop集群的时候方便,还有很多地方不合理或者不严谨。

但自己使用也就够用了!

时间: 2024-08-03 09:22:36

显示当前Hadoop集群节点上启动的进程的相关文章

Hadoop 集群管理上的新“绝招”

Hadoop在一些企业部署时,往往会遇到多个用户各自创建的数据处理工作的情况.这些工作都运行在同一个Hadoop系统上时,他们之间可能会彼此冲突,争夺可用的处理器资源. David Clubb,在移动游戏平台和市场公司Chartboost的高级数据工程师,试图优化大数据技术,提升产品体验时,也遇到了Hadoop集群管理的问题."我们正在更新Hadoop软件,并试图将其迁移到新的集群,但并没有找到监控集群的好方法,"Clubb说道."你可以看到工作在运行,但你却不能看到其所使用

hadoop集群搭建完成,其他进程都启动了,但是namenode没有启动,查看日志,报错了

问题描述 hadoop集群搭建完成,其他进程都启动了,但是namenode没有启动,查看日志,报错了 hadoop集群搭建完成,其他进程都启动了,但是namenode没有启动,查看namenode的日志信息,报错了, 192.168.100.70:8485: Call From anlulu-1/192.168.100.10 to anlulu-7:8485 failed on connection exception: java.net.ConnectException: 拒绝连接; For

hadoop集群-HADOOP集群主机上运行HADOOP相关命令回车后响应慢

问题描述 HADOOP集群主机上运行HADOOP相关命令回车后响应慢 HADOOP集群主机上运行HADOOP相关命令回车后响应慢,如集群主机上输入hivehbase shell或者hdfs dfs -ls / 回车后终端响应非常慢,至少10秒上才出来 Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/jars/hive-common-0.13.1-

weblogic集群节点的启动内存如何调整

问题描述 调整内存的方式都有哪几种,weblogic集群节点的启动内存如何调整,各个节点的内存如何调整,网上的都是单机部署如何调整内存的,有没有针对集群部署各个节点如何调整的方式 解决方案 解决方案二:搭建集群完成后,进入domain下的bin里,在setDominEnv.sh中修改init内存的大小,从新启动weblogic集群,配置的内存会被加载

Windows系统SureHA 2.1.1集群节点上运行的服务有哪些?

Windows系统SureHA 2.1.1集群节点上运行的服务共10个,如下图,均以SureHA起头.与SureHA 2.0相比增加了SureHA Cluster JAVA Resource Agent和SureHA Cluster System Resource Agent.

Linux系统SureHA集群节点上识别的磁盘资源、镜像磁盘资源名称不一致

例:   节点1上识别的数据分区为/dev/sda5   节点2上识别的数据分区为/dev/sda6 解决方案: 出现该情况时,可以在添加资源时分别设置节点信息解决.   在添加资源时,分别选中节点选项卡,勾选中"个别设置",在该页面填写对应该节点的信息即可,如下图:  

《Hadoop集群与安全》一2.2 设置NameNode

2.2 设置NameNode 在本节中,我们将一步一步对NameNode服务进行安装以及基本配置,其中包括高可用方案的构建.网络上许多指导和教程将NameNode高可用方案作为一项高级内容,而我们在最初就将重点放在NameNode高可用方案的设置上.原因是在Hadoop构建中NameNode扮演着重要的角色.从根本上说,NameNode是Hadoop集群中的一块短板.如果没有该项服务,用户就无法访问Hadoop分布式文件系统(HDFS). 我们有多种方法对NameNode高可用方案进行设置.在C

基于OSS存储搭建Hadoop集群

简介 本文以Ubuntu操作系统为例,介绍基于Aliyun OSS的hadoop-3.0.0-beta1的集群环境搭建过程,示例的集群环境包括1个master和2个slave节点(slave1和slave2).请参考官方文档. 操作账户默认使用root账户 注意:为了方便用户操作,减少错误发生,本文假定所有操作都是使用root账户:如果使用非root,请根据自己的实际情况进行操作步骤的修订. 在各个节点上操作目录均为/home/hadoop目录 所有下载软件包的存放和操作目录为:/home/ha

Hadoop集群运行JNI程序

  要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情. Hadoop运行程序的方式是通过jar包,所以我们需要将所有的class文件打包成jar包.在打包的过程中,无需将动态链接库包含进去. 在集群中运行程序之前,Hadoop会首先将jar包传递到所有的节点,然后启动运行.我们可以在这个阶段将动态链接库作为附件和jar包同时传递到所有的节点.方法就是给jar命令指定-files参数.命令如下: hadoop