启动Hadoop集群和HBase集群脚本

#!/bin/sh
#echo "waring"
#read NAME #等待用户输入并把输入的值付给NAME
NAME=$1 #将脚本第一个参数赋给NAME

#引用变量时加上"{}",是个好习惯,利于shell辨别变量边界
if [  -z ${NAME} ]  ;then #默认如果为空,hadoop start
	echo "1.start hadoop on ${HOSTNAME}"
	start-all.sh
elif [ "${NAME}" = "hadoop" ];then #如果NAME中的值为"hadoop",则继续执行if
	echo "2.start hadoop on ${HOSTNAME}"
	start-all.sh
elif [ "${NAME}" = "hbase" ] ;then #否则就执行else if
	start-all.sh
	#for loop in 1 2 3
	NUM=1
<pre name="code" class="plain">#测试的zookeeper服务器集群是三个节点

	while [ ${NUM} -lt 4 ]
	do
		echo "start zkServer on hadoop${NUM}"
		ssh -t -p 22 hadoop${NUM} "/usr/local/zk/bin/zkServer.sh start" #向远程机器发送命令
	NUM=$[${NUM}+1]
	done
	ssh -t -p 22 hadoop1 "/usr/local/hbase/bin/start-hbase.sh" #向远程机器发送命令
else
echo "error"

fi #结束if命令

脚本简单的实现了Hadoop集群和HBase集群的启动,避免了在每个节点上的操作,简化了集群启动操作。同时 脚本还存在一些bug,仅仅为简化集群启动

时间: 2024-07-30 06:22:21

启动Hadoop集群和HBase集群脚本的相关文章

停止Hadoop或HBase集群的脚本

#!/bin/sh #echo "waring" #read NAME #等待用户输入并把输入的值付给NAME NAME=$1 #将脚本第一个参数赋给NAME #引用变量时加上"{}",是个好习惯,利于shell辨别变量边界 if [ -z ${NAME} ] ; then #执行脚本没有输入参数,默认关闭hadoop stop-all.sh elif [ ${NAME} = "hadoop" ]; then #如果NAME中的值为"H

《HBase企业应用开发实战》—— 2.5 停止HBase集群

2.5 停止HBase集群 通过HBase提供的脚本可以停止一个正在运行中的集群,命令如下: bin/stop-hbase.sh stopping hbase............... 读者会在屏幕上看到类似上面的输出信息,请耐心等待,当HMaster和所有RegionServer进程正常退出后集群将停止服务.

hadoop hbase集群断电数据块被破坏无法启动

集群机器意外断电重启,导致hbase 无法正常启动,抛出reflect invocation异常,可能是正在执行的插入或合并等操作进行到一半时中断,导致部分数据文件不完整格式不正确或在hdfs上block块不完整. 在网上查了一下相关资料,怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整,故把hbase.hlog.split.skip.errors改成true进行尝试. 关于这个参数作用的解释: 当服务器奔溃,重启的时候,会有个回放的过程,把/hbase/WAL/下面记

高可用Hadoop平台-HBase集群搭建

1.概述 今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截图预览 那么,接下来我们开始今天的HBase集群搭建学习. 2.基础软件的准备 由于HBase的数据是存放在HDFS上的,所以我们在使用HBase时,确保Hadoop集群已搭建完成,并运行良好.若是为搭建Hadoop集群,请参考我写的<配置高可用的Hadoop平台>来完成Hadoop平台的搭建.另

hbase 集群启动后master 端口监听不正确

问题描述 hbase 集群启动后master 端口监听不正确 截图是在master机器上端口监听,可以看到60000.60020是监听在127.0.0.1上的 这样就导致其他的slave 机器无法访问60000.60020端口,网上说是hosts配置不正确,但是都各种修改了还是不正确,请问该如何解决

日志-求救啊!Hadoop 2.2.0 搭建集群 启动hdfs时候 namenode 启动后报空指针

问题描述 求救啊!Hadoop 2.2.0 搭建集群 启动hdfs时候 namenode 启动后报空指针 日志如下: 2015-02-07 01:01:46,610 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Error encountered requiring NN shutdown. Shutting down immediately. java.lang.NullPointerException at org.apache

搭建Hadoop与HBase集群的反思与总结

这几天应老师要求,在三台机器上搭建Hadoop环境与http://www.aliyun.com/zixun/aggregation/13713.html">HBase环境,其中遇到不少问题,直到今日才基本运行成功.此处不讨论配置细节,只是把需要注意的问题列出作参考. 三台机器时间同步,防火墙(iptables)关闭 设置hostname.对于Debian,修改/etc/hostname;对于centos,修改/etc/sysconfig/network. 设置/etc/hosts文件.删除

如何访问E-MapReduce中HBase集群

一.创建HBase集群 E-MapReduce在EMR-1.2.0版本开始支持HBase(1.1.1)了,创建集群时注意点如下: 1)选择付费类型 创建集群的基本信息页面可选择付费类型,包括包年包月和按量付费两种,一般HBase集群都是长期存在的,所以选择包年包月价格更实惠. 2)选择软件版本配置 产品版本选择EMR-1.2.0及以上版本,集群类型选择HBASE,目前EMR支持的HBase版本号为1.1.1. 3)集群网络配置 可以选择将HBase集群创建在经典网络环境或者专有网络环境(VPC)

青云QingCloud推出HBase集群服务 支持SQL等高级功能

为了更好地满足用户对大数据基础平台的需求,企业级基础云服务商青云QingCloud(qingcloud.com)日前宣布正式推出HBase集群服务,包含HBase数据库服务.HDFS分布式文件系统.Phoenix查询引擎三大组件.在原生HBase的基础上,QingCloud在配置的易用性.监控告警.在线伸缩等方面进行全面优化,并支持二级索引.SQL和JDBC API,以及完全ACID事务等高级功能,用户能够在2-3分钟内创建一个HBase集群,并能够在控制台直接修改配置文件并应用,极大地减轻了H