搭建Hadoop与HBase集群的反思与总结

  这几天应老师要求,在三台机器上搭建Hadoop环境与">HBase环境,其中遇到不少问题,直到今日才基本运行成功。此处不讨论配置细节,只是把需要注意的问题列出作参考。

  三台机器时间同步,防火墙(iptables)关闭

  设置hostname。对于Debian,修改/etc/hostname;对于centos,修改/etc/sysconfig/network。

  设置/etc/hosts文件。删除其中的127.0.0.1 主机名以及127.0.1.1 主机名(如果有的话);127.0.0.1 localhost可以保留。添加各台机器的IP地址及主机名。

  设置每台机器之间的ssh无密码访问。必须保证两两机器之间无密码访问成功。

  调整机器的限制。详情见此处(官网)

  设置hadoop中的配置文件hadoop-env.sh,需设置JAVA_HOME

  hbase中配置文件hbase-env.sh,需设置JAVA_HOME;由于使用自带zookeeper,需要设置HBASE_MANAGES_ZK=true。

  core-site.xml、hdfs-site.xml、hbase-site.xml核心文件的配置。相关配置可见此处。

  将hadoop与hbase部署到各结点中。注意保持每个节点中的配置文件一致性,以及有效性(比如JAVA_HOME路径,如果机器不同的话需要填写本地的Java路径;还有hdfs与zookeeper的本地存储路径)

  先启动hdfs,再启动hbase。

  此次搭建后在hbase-hadoop-master-psyDebian.out中以及创建表时都有警告:

  是jar包重复问题。但如果我删除了hadoop中的或者hbase中的一个,在启动或停止时hadoop或hbase都会报错。目前并未解决该包重复问题,但似乎并不影响创建表等hbase的使用。

时间: 2024-10-27 00:53:02

搭建Hadoop与HBase集群的反思与总结的相关文章

《Hadoop MapReduce实战手册》一第1章 搭建Hadoop并在集群中运行

第1章 搭建Hadoop并在集群中运行 Hadoop MapReduce实战手册本章将学习以下内容: 在你的机器上安装Hadoop 写WordCountMapReduce示例程序,打包并使用独立的Hadoop运行它 给WordCountMapReduce程序增加combiner步骤 安装HDFS 使用HDFS监控UI HDFS的基本命令行文件操作 在分布式集群环境中设置Hadoop 在分布式集群环境中运行WordCount程序 使用MapReduce监控UI

使用Docker在本地搭建hadoop,spark集群

本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷.这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于docker相关的操作,至于hadoop和spark集群的部署,极力推荐这两个网页: Hadoop集群:http://blog.csdn.net/stark_sum ... 24279. Spark集群:http://blog.csdn.net/stark_sum ... 58081 主

停止Hadoop或HBase集群的脚本

#!/bin/sh #echo "waring" #read NAME #等待用户输入并把输入的值付给NAME NAME=$1 #将脚本第一个参数赋给NAME #引用变量时加上"{}",是个好习惯,利于shell辨别变量边界 if [ -z ${NAME} ] ; then #执行脚本没有输入参数,默认关闭hadoop stop-all.sh elif [ ${NAME} = "hadoop" ]; then #如果NAME中的值为"H

Ganglia监控Hadoop与HBase集群

以下基于上篇Hadoop2.6与HBase1.0集群架构: http://lizhenliang.blog.51cto.com/7876557/1665130 http://lizhenliang.blog.51cto.com/7876557/1661354  Hadoop集群基本部署完成,接下来就需要有一个监控系统,能及时发现性能瓶颈,给故障排除提供有力依据.监控hadoop集群系统好用的比较少,自身感觉ambari比较好用,但不能监控已有的集群环境,挺悲催的.ganglia在网上看到原生支持

0基础搭建Hadoop大数据处理-集群安装

经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 不需要下载最新的3.0版本, 与后续Hive最新版本有冲突,不知道是不是自己的打开方式不对.    hadoop有三种运行方式:单机.伪分布式.完全分布式,本文介绍完全分布式. 安装Hadoop 现在有三个机器,一个Maste

高可用Hadoop平台-HBase集群搭建

1.概述 今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截图预览 那么,接下来我们开始今天的HBase集群搭建学习. 2.基础软件的准备 由于HBase的数据是存放在HDFS上的,所以我们在使用HBase时,确保Hadoop集群已搭建完成,并运行良好.若是为搭建Hadoop集群,请参考我写的<配置高可用的Hadoop平台>来完成Hadoop平台的搭建.另

玩转大数据-如何搭建Hbase集群

小编的上一篇文章说了如何搭建hadoop集群,我们的目的还是为了去最终搭建一个成功的Hbase集群,不说太多废话,我们直接上教程. 本文只给出如何搭建Hbase集群的方法.但是Hbase最重要的一个步骤其实是性能调优,Hbase调优之路很漫长,还请各位慢慢研究 重要的事情说三遍: 在此之前确认你的Hadoop集群已经运行起来! 在此之前确认你的Hadoop集群已经运行起来! 在此之前确认你的Hadoop集群已经运行起来! 我们就搭建一套全分布式的Hbase数据库系统(以下步骤和互联网上雷同,但某

Hadoop 三台主机 集群搭建 详解(测试)

Hadoop 三台主机 集群搭建 详解 学习更多,请访问系列文章: 1. VMware Redhat网络配置 2. Hadoop 三台主机 集群搭建 详解 3. Windows 下配置 Eclipse 连接 Hadoop 开发环境 部署环境: OS:Redhat 5.5 Enterprise JDK:jdk1.6.0_32 Hadoop:Hadoop-0.20.2 VMWare:7.0 节点安排及网络拓扑: 节点类型 节点IP 节点hostname master节点 192.168.40.5 m

hadoop hbase集群断电数据块被破坏无法启动

集群机器意外断电重启,导致hbase 无法正常启动,抛出reflect invocation异常,可能是正在执行的插入或合并等操作进行到一半时中断,导致部分数据文件不完整格式不正确或在hdfs上block块不完整. 在网上查了一下相关资料,怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整,故把hbase.hlog.split.skip.errors改成true进行尝试. 关于这个参数作用的解释: 当服务器奔溃,重启的时候,会有个回放的过程,把/hbase/WAL/下面记