Hadoop完全分布式环境搭建

  一. 准备工作

  实验环境:Vmware虚拟出的3台主机,系统为CentOS_6.4_i386

  用到的软件:Hadoop-1.2.1-1.i386.rpm,jdk-7u9-linux-i586.rpm

  主机规划:

  IP地址&">nbsp;                     主机名                    角色

  192.168.2.22          master.flyence.tk        NameNode,JobTracker

  192.168.2.42          datanode.flyence.tk      DataNode,TaskTracker

  192.168.2.32          snn.flyence.tk          SecondaryNameNode

  1. hostname命令修改主机名,并修改/etc/sysconfig/network中的主机

  这里以master节点为例

  [root@localhost ~]# hostname master.flyence.tk

  [root@localhost ~]# vim /etc/sysconfig/network

  [root@localhost ~]# logout

  -

  下面为/etc/sysconfig/network中的内容

  NETWORKING=yes

  HOSTNAME=master.flyence.tk

  2. 在/etc/hosts中,记录3台主机的IP和主机名

  3. 在3台主机上添加hadoop用户,并设定密码

  # useradd hadoop

  # echo "hadoop" | passwd --stdin hadoop

  4. master节点的hadoop用户能够以基于密钥的验证方式登录其他节点,以便启动进程并执行监控等额外的管理工作。

  [root@master ~]# su - hadoop

  [hadoop@master ~]$ ssh-keygen -t rsa -P ''

  [hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode.flyence.tk

  [hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@snn.flyence.tk

  二. 安装JDK

  3台主机上都要安装,以下步骤要重复三遍

  [root@master ~]# rpm -ivh jdk-7u9-linux-i586.rpm

  编辑/etc/profile.d/java.sh,在文件中添加如下内容:

  export PATH=/usr/java/latest/bin:$PATH

  切换至hadoop用户,并执行如下命令测试jdk环境配置是否就绪

  [hadoop@master ~]$ java -version

  java version "1.7.0_09"

  Java(TM) SE Runtime Environment (build 1.7.0_09-b05)

  Java HotSpot(TM) Client VM (build 23.5-b02, mixed mode, sharing)

  三. 安装Hadoop

  集群中的每个节点都要安装Hadoop。

  [root@master ~]# rpm -ivh hadoop-1.2.1-1.i386.rpm

  切换至hadoop用户,验证Hadoop是否安装完成

  [hadoop@master ~]$ hadoop version

  Hadoop 1.2.1

  Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152

  Compiled by mattf on Mon Jul 22 15:17:22 PDT 2013

  From source with checksum 6923c86528809c4e7e6f493b6b413a9a

  This command was run using /usr/share/hadoop/hadoop-core-1.2.1.jar

时间: 2024-09-30 20:42:59

Hadoop完全分布式环境搭建的相关文章

大数据-hadoop伪分布式环境搭建

问题描述 hadoop伪分布式环境搭建 最近开始新学hadoop,想搭建个伪分布式环境,而自己的电脑配置不高,不能运行虚拟机,可以利用阿里云来搭建伪分布式运行环境吗? 解决方案 阿里云搞几台机器在一个局域网就可以搭建或者用单机模式 解决方案二: 嗯,单机模式是不是不用装虚拟机

Hadoop全分布式环境搭建

视频演示:http://v.youku.com/v_show/id_XNTY4NDM3NDQ4.html Hadoop的单击版和伪分布式版环境都好搭建(具体方法参见:hadoop单击版与伪分布式安装方法),这个全分布式还真是费了我不少时间.下面说说我的步骤: (一)准备工作 1.准备3台装有linux的机器,具有相同的用户名(这个是必须的,我这里都是liujiacai) 三台机器的ip与主机名 192.168.6.38 master 192.168.6.21 node1 192.168.6.24

hadoop-Hadoop完全分布式环境搭建问题

问题描述 Hadoop完全分布式环境搭建问题 Hadoop已经安装完毕(终端跑起来正常),但是namenode:50030打不开,还有一个问题看下面两个图: 求大神帮忙,不胜感激 解决方案 http://blog.sina.com.cn/s/blog_54eb9d9e0101ahky.html 解决方案二: http://blog.sina.com.cn/s/blog_54eb9d9e0101ahky.html 解决方案三: 问题补充:第一个图显示1个live node ,为什么第二个图note

Hadoop 2.x伪分布式环境搭建详细步骤_数据库其它

本文以图文结合的方式详细介绍了Hadoop 2.x伪分布式环境搭建的全过程,供大家参考,具体内容如下 1.修改hadoop-env.sh.yarn-env.sh.mapred-env.sh 方法:使用notepad++(beifeng用户)打开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml配置文件 1)修改core-

eclipse-win7下Eclipse开发Hadoop应用程序环境搭建

问题描述 win7下Eclipse开发Hadoop应用程序环境搭建 这需要装cygwin么?然后我搭建的用不了 解决方案 Android系统应用程序Eclipse开发环境的搭建win7下Cygwin搭建Hadoop开发环境hadoop集群(hadoop-1.1.2)eclipse开发环境搭建 解决方案二: 这个你指的是在win下已经安装来hadoop来?如果是,那出现什么情况都可以谅解,如果是虚拟机hadoop在win下,那就要cygwin,配置好ssh就可以来

Hadoop基础教程之分布式环境搭建

前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 1.运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在ubuntu上运行着.所以同样,2台从机,同

hadoop2.6分布式环境搭建

1. 前言 在3个系统centos6.5的linux虚拟机搭建一个分布式hadoop环境,hadoop版本为2.6,节点ip分别为 192.168.17.133 192.168.17.134 192.168.17.135 2. 配置hosts文件 分别在3个节点上配置/etc/hosts文件,内容如下: 192.168.17.133 master 192.168.17.134 slave1 192.168.17.135 slave2 127.0.0.1 localhost localhost.l

hadoop集群环境搭建

1 hadoop集群规划 1.1 共有A.B.C 三台机器; 1.2 A 作为master,B作为slave1,C作为slave2; 1.3 IP &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;A :192.168.1.103;B:192.168.1.104;C:192.168.1.101; 1.4 OS:centos6.2(64bit) 2 hadoop集群搭建步骤 2.1 创建 hadoop用户,并使该用户拥

如何搭建Hadoop集群环境

第一步:安装 (1) 下载hadoop包 http://hadoop.apache.org/ (2) 登录需要配置hadoop的服务器(HadoopSrv01) su -gird(官方建议用grid账户搭建) (3) 解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird (4) 进入/home/gird 创建临时目录 tmp (5) 配置 hadoop-env.sh, core-site.xml, hdfs-site.xml,mapred-s