hadoop集群环境搭建

  1 hadoop集群规划

  1.1 共有A、B、C 三台机器;

  1.2 A 作为master,B作为slave1,C作为slave2;

  1.3 IP &">nbsp;A :192.168.1.103;B:192.168.1.104;C:192.168.1.101;

  1.4 OS:centos6.2(64bit)

  2 hadoop集群搭建步骤

  2.1 创建 hadoop用户,并使该用户拥有root权限(在master机器上进行)

  #创建hadoop用户

  useradd hadoop

  #给用户hadoop添加密码

  passwd hadoop

  #付给hadoop用户root权限

  vi /etc/passwd  将hadoop用户的用户ID 、组ID 都改为0,如hadoop:x:0:0::/home/hadoop:/bin/bash(记得先切换到root用户哦,其他用户估计对该文件没有权限)

  2.2 切换到hadoop用户,进入hadoop用户主目录(在master机器上进行)

  #切换到hadoop用户

  su hadoop

  根据提示输入密码(如果从普通用户切换到hadoop,需要密码;如果从root用户切换到hadoop,不许要输入密码,也就没有这一步了)

  #进入hadoop的主目录

  cd /home/hadoop

  2.3  安装JDK环境(hadoop是JAVA编写的一个工具,需要使用JDK)(在master机器上进行)

  yum install openjdk*(yum 是centos上的一个安装软件的工具,可以查找软件、删除软件、更新软件等)

  2.4 安装openssh(hadoop节点间通信需要使用到它,并且相对ssh而言,这个是免费的)(在master机器上进行)

  #安装openssh

  yum install openssh*

  #生存ssh密钥

  ssh-keygen -t rsa -P ''

  #进入.ssh文件夹

  cd /root/.ssh

  #将公钥加到认证的公钥文件中

  cat id_rsa.pub>>authorized_keys

  2.5 下载hadoop安装包并进行相应的配置(在master机器上进行)

  #下载hadoop-1.0.4.tar.gz

  #解压hadoop-1.0.4.tar.gz到/home/hadoop

  #hadoop-1.0.4文件夹中的conf文件夹中是我们需要配置的文件(详情见地址)

  http://download.csdn.net/detail/lovemelovemycode/5634581

  2.6 配置hosts和hostname(在master上进行)

  #下载这个文件

  http://download.csdn.net/detail/lovemelovemycode/5634599

  2.7  在slave1和slave2上重复2.1、2.2、2.3的步骤

  2.8 将master上相应的文件copy到slave1\slave2上(在master上进行)

  scp -r .ssh hadoop@slave1:/root

  scp -r .ssh hadoop@slave2:/root

  scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave1:/home/hadoop

  scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave2:/home/hadoop

  scp -r /etc/hosts hadoop@slave1:/etc

  scp -r /etc/hostname hadoop@slave2:/etc

  2.9 关闭 master、slave1、slave2的防火墙

  #暂时关闭防火墙

  /etc/init.d/iptables stop

  #永久关闭防火墙

  chkconfig –level 35 iptables off

  2.10  对namenode\datanode进行格式化(在master上进行)

  bin/hadoop namenode -format

  bin/hadoop datanode -format

  2.11 启动hadoop(在master上进行)

  # 进入hadoop-1.0.4

  bin/start-all.sh

  3 hadoop集群搭建成功的验证方法

  3.1 通过java 的jps命令验证

  http://download.csdn.net/detail/lovemelovemycode/5634649

  3.2 通过http://master:50070    和http://master:50030验证

时间: 2024-10-14 23:57:36

hadoop集群环境搭建的相关文章

hadoop集群环境的搭建

       今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Hadoop安装目录 master Master slaves NameNode DataNode JobTracker TaskTracker SecondaryNameNode 创建相同的用户的组名:hadoop. 安装hadoop-0.20.2时使用hadoop用户,并且hadoop的文件夹归属也是hadoop:

Linux服务器下搭建hadoop集群环境 redhat5/Ubuntu 12.04

Ubuntu 12.04 下搭建 hadoop 集群环境步骤 一. 搭建环境前的准备: 我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm 还在KVM中虚拟了4台机子,分别起名为: son-1        (ubuntu 12.04 32bit),son-2        (ubuntu 12.04 32bit),son-3        (

windows7下搭建hadoop集群环境

问题描述 有人会在win7下搭建hadoop集群环境吗?我急需要搭建,有会的帮帮忙吧,我整了两天了没弄出来,着急死了!cygwin安装完运行sshlocalhost出现这种错误,是怎么回事啊? 解决方案 解决方案二:我是真心不会,帮顶吧,有份资料可以参考下,去搜"王家林hadoop".解决方案三:楼上的问题解决了吗?我跟你遇到了完全相同的问题~跪求答案

Hadoop学习之HBase的集群环境搭建

HBase的集群环境搭建 该集成环境是在伪分布搭建的基础上搭建 1.   修改原来的伪分布hadoop1上的hbase的配置文件 #cd /usr/local/hbase/conf/ 待修改的文件:hbase-env.sh.hbase-site.xml.regionservers #vim hbase-env.sh 使用搭建的zookeeper集群环境,因此hbase自带的zookeeper设置为false,不启动. #vim hbase-site.xml 将zookeeper集群所在的主机名,

cygwin在win7下搭建hadoop集群环境

问题描述 江湖救急!!有人会在win7下搭建hadoop集群环境吗?我急需要搭建!cygwin安装完运行sshlocalhost出错!

批量部署Hadoop集群环境(1)

批量部署Hadoop集群环境(1) 1. 项目简介: 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来部署Hadoop.已经搭建完毕,分享出来供大家参考. 问题:看到Hadoop部署在一些资料上很是繁琐,一些简单的部署方法只是玩具,无法满足企业的部署条件,如果一台台服务器去部署,显然是不可行. 解决:在学习及其他资料后,准备以<Apache Hadoop Yarn: Moving Beyond Ma

关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题

问题描述 关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题 1.我用eclipse远程连接linux上的hadoop集群,跑Mapreduce程序都可以顺利完成,结果在集群里也可以看得到. 但是,跑程序的时候,我去集群上Jps没有我正在跑的程序 而且,我到job的web界面下,也没有我的MapReduce任务记录... 是不是eclipse其实在本地跑的,没有在集群中跑,我无法想明白,还请指教 解决方案 你远程的意思指的什么,是从windows下远程连

Hadoop集群环境下的网络架构的设计与优化

Hadoop集群环境下的网络架构的设计与优化 冯力 杨凯 杨帆 大数据时代,研究大数据的IT厂商把研究重心放在优化大数据系统软件架构.优化业务逻辑.优化数据分析算法.优化节点性能等方向,而忽略了大数据环境基础设置中网络环节的评估和优化.本文介绍了思科公司在Hadoop集群环境下的网络架构设计与优化经验.大数据Hadoop环境网络特性Hadoop集群中的各节点通过网络连接起来,而且MapReduce中的以下过程会在网络中传输数据. Hadoop集群环境下的网络架构的设计与优化

一:Storm集群环境搭建

第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备--->CentOS-6.0-x86_64系统环境--->三台地址--->zookeeper和storm公用物理环境   第二:节点环境查看 第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试 第四:zookeeper集群环境搭建第五:Storm集群环境搭建