玩转大数据-如何搭建Hbase集群

小编的上一篇文章说了如何搭建hadoop集群,我们的目的还是为了去最终搭建一个成功的Hbase集群,不说太多废话,我们直接上教程。
本文只给出如何搭建Hbase集群的方法。但是Hbase最重要的一个步骤其实是性能调优,Hbase调优之路很漫长,还请各位慢慢研究
重要的事情说三遍:
在此之前确认你的Hadoop集群已经运行起来!
在此之前确认你的Hadoop集群已经运行起来!
在此之前确认你的Hadoop集群已经运行起来!

我们就搭建一套全分布式的Hbase数据库系统(以下步骤和互联网上雷同,但某些情况下网上版本较低,如使用新版本Hbase还请参阅本方法):

对于全分布式的HBase安装,需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考《hadoop2.6完全分布式安装zookeeper3.4.6
关于HBase的介绍,可以看这里《HBase简介
1、安装Hbase(1)下载hbase版本
下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.1.0.1版本(2)解压hbase-1.1.0.1-bin.tar.gz
hadoop@master:~/opt$ tar zxvf hbase-1.1.0.1-bin.tar.gz

(3)将hbase添加到环境变量中
export HBASE_HOME=/home/hadoop/opt/hbase-1.1.0.1export PATH=$HBASE_HOME/bin:$PATH

(4)修改配置文件
修改hbase-env.sh
export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_65

修改hbase-site.xml
<configuration><property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>master,slave1</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/opt/zookeeper-3.4.6</value></property></configuration>

修改regionservers,将文件内容设置为:
masterslave12、运行HBase启动hbase时要确保hdfs已经启动,HBase的启动顺序为:HDFS->Zookeeper->HBase,运行命令如下:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs namenode -formathadoop@master:~/opt/hadoop-2.6.0$ sbin/start-dfs.shhadoop@master:~/opt/zookeeper-3.4.6$ ./zkServer.sh starthadoop@master:~/opt/hbase-1.1.0.1$ start-hbase.sh

启动成功后集群会多出如下进程:
hadoop@master:~/opt/hbase-1.1.0.1$ jps

8145 SecondaryNameNode7940 NameNode8550 HRegionServer5719 QuorumPeerMain8600 Jps8424 HMaster运行成功后可以看到QuorumPeerMain进程再看看slave1的进程:
hadoop@slave1:~/opt/zookeeper-3.4.6/bin$ jps

6915 QuorumPeerMain7012 HRegionServer7268 Jps6823 DataNode进入HBase Shell
hadoop@master:~/opt/hbase-1.1.0.1$ ./bin/hbase shell

输入status命令:
hbase(main):001:0> status

出现错误:
2015-05-25 20:26:14,949 ERROR [main] client.ConnectionManager$HConnectionImplementation: Can’t get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false问题搞定!
hbase(main):001:0> status

2 servers, 0 dead, 1.0000 average load

时间: 2024-09-08 18:17:17

玩转大数据-如何搭建Hbase集群的相关文章

玩转大数据-如何搭建hadoop集群

看到题目有没有一种高大上的感觉? 毛线,当前是个人.是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有几个TB的分析数据产出敢说自己是大数据? 乘着大数据噱头之风,我们还是要看一下大数据所运用的工具对于我们是否有用,小编之前写项目时一直青睐于mysql,进来发现新的项目mysql已经无法适应,我们目前日数据产生量在10W级别时,mysql的查询速度和稳定性的确出现了问题,借鉴当前分布式数据库的经验,我们决定采用Hbase集群,Hadoop作为hbase的基础,被提到首要位置做研究.

玩转大数据-如何搭建redis集群

在企业应用中,对于数据的固化一般采用数据库,但是数据库的吞吐量还是存在一定的问题的,在高并发高吞吐要求时,一般会直接导致数据库的宕机或者死锁,目前对于这个问题的架构是在数据库前边在缓存池,redis就是这么一款产品. 对于redis的介绍,去百度吧,它应该被广泛运用在各个项目中,我们来看如何搭建一个redis集群,这里的集群是个真分布式集群哦. 首先,我们需要下载redis源代码,然后进行编译,以下命令在linux下执行: wget http://download.redis.io/redis-

解析大数据时代的数据库集群技术

当今世界是一个信息化的世界,我们的生活中无论是生活.工作.学习都离不开信息系统的支撑.而信息系统的背后用于保存和处理最终结果的地方就是数据库.因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果. 如今"大数据"这个词已经变得非常流行,虽然这个概念如何落地不得而知.但可以确定的是,随着物联网.移动应用的兴起,数据量相比过去会有几何级的提升,因此数据库所需要解决的问题不再仅仅是记录程序正确的处理结果,还需要解决如下挑战:

hold住大数据!解析EMC Isilon集群存储

在英特尔的推动下,IT系统通信带宽和计算能力遵循摩尔法则不断创下历史新高,保持了每12-18个月翻一番的发展速度.与此同时,IDC最新"数字宇宙"研究预测:数据增长速度将超过摩尔定律,2011年将达到1.8ZB;未来10年,企业将管理50倍于现在的数据量,文件量将增加75倍.在数字宇宙飞速膨胀的背景下,"大数据"的概念也应运而生. 详解Big Data 其实,大数据和云计算是两个相生相伴的概念,尽管业界暂时并没有关于大数据的官方定义,但其实,各厂商对大数据的理解已经

高可用Hadoop平台-HBase集群搭建

1.概述 今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截图预览 那么,接下来我们开始今天的HBase集群搭建学习. 2.基础软件的准备 由于HBase的数据是存放在HDFS上的,所以我们在使用HBase时,确保Hadoop集群已搭建完成,并运行良好.若是为搭建Hadoop集群,请参考我写的<配置高可用的Hadoop平台>来完成Hadoop平台的搭建.另

HBase集群管理

通过之前文章的描述,我们已经有能力设计并部署搭建HBase集群了 当我们的HBase集群开始运行的时候,新的挑战又来了 例如,我们可能会遇到在集群运行的时候添加或者删除节点 又或者需要拷贝/备份整个集群的数据等等 如何在集群运行的时候以最小的代价来执行这些操作呢? 下面总结一下HBase集群的相关运维和管理知识点 运维任务 添加/删除节点 在HBase中动态添加/删除节点非常简单,只需要一些命令操作即可,HBase会自动帮你处理节点上下线需要做的事情 添加节点 1.修改conf目录下的regio

玩转大数据:需要知晓的12种工具

本文讲的是玩转大数据:需要知晓的12种工具,无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具.这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具. 在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序员带来先进的数据分析能力.有时候,程序员们会使用简单的脚本开发出强大的显示效果,或者在开发过程中使用一种更简易的方式来实现数据的交付功能,Derrick相信这是

云时代的大数据存储-云HBase

为什么 纵观数据库发展的几十年,从网状数据库.层次数据库到RDBMS数据库,在最近几年的NewSQL的兴起,加上开源的运动,再加上云的特性,可以说是日新月异.在20世纪80年代后,大部分的业务确定使用RDBMS数据为存储基础.新世纪开始,随着互联网的发展,数据量的增大,慢慢RDBMS数据库撑不住,就出现了读写分离策略.随着压力增加,Master撑不住,这时就要分库,把关联不大的数据分开部署,一些join查询不能用,需要借助中间层.随着数据量的进一步增加,一个表的记录越来越大,查询就变得很慢,于是

SQL Server:大企业如何玩转大数据?

文章讲的是SQL Server:大企业如何玩转大数据,"得大数据者得天下." 推崇大数据时代的变革者们对此坚信不疑. 在大数据时代,谁能有效地管理和控制数据,谁就有可能成为世界霸主.中国石油化工集团公司信息系统管理部副主任齐学忠也认同这个观点.不过,有效的管理和控制数据并非一件容易的事情,齐学忠就经常为中石化的合同管理而头疼. 营业收入超4000亿美元,全球排名领先的巨型企业--中国石化,其合同管理就是不折不扣的"大数据".中国石化集团拥有众多分子公司,总部和所有下