Hadoop全分布式环境搭建

视频演示:http://v.youku.com/v_show/id_XNTY4NDM3NDQ4.html

Hadoop的单击版和伪分布式版环境都好搭建(具体方法参见:hadoop单击版与伪分布式安装方法),这个全分布式还真是费了我不少时间。下面说说我的步骤:

(一)准备工作

1.准备3台装有linux的机器,具有相同的用户名(这个是必须的,我这里都是liujiacai)

三台机器的ip与主机名

192.168.6.38 master
192.168.6.21 node1
192.168.6.24 node2

2.确保所有机器在一个局域网内,并且能够相互ping同(如果不通把防火墙关闭试试)

3.配置ssh免密码登录

在master主机上输入

ssh-keygen -t rsa

之后一直按回车键即可。

然后,在集群内分配密钥

ssh-copy-id -i ~/.ssh/id_rsa.pub liujiacai@192.168.6.21
ssh-copy-id -i ~/.ssh/id_rsa.pub liujiacai@192.168.6.24

使用ssh-copy-id不仅可以将公钥添加到authorized_keys中去,而且也设置了正确的权限(文件夹.ssh为700,authorized_keys为600)

参考文章:http://www.thegeekstuff.com/2008/11/3-steps-to-perform-ssh-login-without-password-using-ssh-keygen-ssh-copy-id/

ssh免密码登录原理可参考:http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html

这样在master主机上ssh 192.168.6.21与ssh 192.168.6.24主机时应该就不用输入密码了

如果出现Agent admitted failure to sign using the key这个问题

解決方式 使用 ssh-add 指令将私钥 加进来 

ssh-add   ~/.ssh/id_rsa 

4.配置hosts文件

在master上配置好通过scp命令分发即可。

hosts文件配置内容如下:

127.0.0.1    localhost
192.168.6.38 master
192.168.6.21 node1
192.168.6.24 node2

(二)修改hadoop的配置文件

1.这里我们需要修改5个文件:

conf/core-site.xml

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
 </property>
<property> 
    <name>fs.trash.interval</name> 
    <value>1440</value> 
    <description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled. </description> 
</property>
 <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/liujiacai/hadoop/logs</value>
 </property>
</configuration>

conf/hdfs-site.xml(与伪分布式相同即可)

<configuration>
  <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml

<configuration>
 <property>
         <name>mapred.job.tracker</name>
         <value>master:9001</value>
     </property>
</configuration>

masters

master

salves(如果有多台电脑ip地址累加即可)

node1
node2

这样,hadoop到全分布式就配置完成了,下面运行wordcount程序,运行方法与伪分布式相同,这里不再赘述。

为了解hadoop系统的运行状态,hadoop为我们提供了基于网页的查看方式,非常方便。

1.查看Map/Reduce的运行状态:http://localhost:50030

2.查看HDFS的运行状态:http://localhost:50070

PS:

在全分布式中,各个机器的hadoop配置必须一致,我们可以在master机器上填写好相关信息,然后通过ssh相关命令把hadoop文件夹分配到各个子结点上即可。

ssh传送文件到相关命令:

1、从服务器上下载文件
scp username@serverip:/path/filename
例如scp root@192.168.0.101:/var/www/test.txt  把192.168.0.101上的/var/www/test.txt 的文件下载到当前目录
2、上传本地文件到服务器
scp /path/filename username@serverip:/path   
例如scp /var/www/test.php  root@192.168.0.101:/var/www/  把本机/var/www/目录下的test.php文件上传到192.168.0.101这台服务器上的/var/www/目录中
3、从服务器下载整个目录
scp -r username@serverip:/var/www/local_dir/
例如:scp -r root@192.168.0.101:/var/www/test  /var/www/  
4、上传目录到服务器
scp  -r local_dir username@serverip:remote_dir
例如:scp -r test  root@192.168.0.101:/var/www/   把当前目录下的test目录上传到服务器的/var/www/ 目录con

时间: 2024-10-24 17:21:53

Hadoop全分布式环境搭建的相关文章

大数据-hadoop伪分布式环境搭建

问题描述 hadoop伪分布式环境搭建 最近开始新学hadoop,想搭建个伪分布式环境,而自己的电脑配置不高,不能运行虚拟机,可以利用阿里云来搭建伪分布式运行环境吗? 解决方案 阿里云搞几台机器在一个局域网就可以搭建或者用单机模式 解决方案二: 嗯,单机模式是不是不用装虚拟机

Hadoop完全分布式环境搭建

一. 准备工作 实验环境:Vmware虚拟出的3台主机,系统为CentOS_6.4_i386 用到的软件:Hadoop-1.2.1-1.i386.rpm,jdk-7u9-linux-i586.rpm 主机规划: IP地址&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;                     主机名                    角色 192.168.2.22          master

hadoop-Hadoop完全分布式环境搭建问题

问题描述 Hadoop完全分布式环境搭建问题 Hadoop已经安装完毕(终端跑起来正常),但是namenode:50030打不开,还有一个问题看下面两个图: 求大神帮忙,不胜感激 解决方案 http://blog.sina.com.cn/s/blog_54eb9d9e0101ahky.html 解决方案二: http://blog.sina.com.cn/s/blog_54eb9d9e0101ahky.html 解决方案三: 问题补充:第一个图显示1个live node ,为什么第二个图note

Hadoop 2.x伪分布式环境搭建详细步骤_数据库其它

本文以图文结合的方式详细介绍了Hadoop 2.x伪分布式环境搭建的全过程,供大家参考,具体内容如下 1.修改hadoop-env.sh.yarn-env.sh.mapred-env.sh 方法:使用notepad++(beifeng用户)打开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml配置文件 1)修改core-

eclipse-win7下Eclipse开发Hadoop应用程序环境搭建

问题描述 win7下Eclipse开发Hadoop应用程序环境搭建 这需要装cygwin么?然后我搭建的用不了 解决方案 Android系统应用程序Eclipse开发环境的搭建win7下Cygwin搭建Hadoop开发环境hadoop集群(hadoop-1.1.2)eclipse开发环境搭建 解决方案二: 这个你指的是在win下已经安装来hadoop来?如果是,那出现什么情况都可以谅解,如果是虚拟机hadoop在win下,那就要cygwin,配置好ssh就可以来

Hadoop基础教程之分布式环境搭建

前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 1.运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在ubuntu上运行着.所以同样,2台从机,同

hadoop2.6分布式环境搭建

1. 前言 在3个系统centos6.5的linux虚拟机搭建一个分布式hadoop环境,hadoop版本为2.6,节点ip分别为 192.168.17.133 192.168.17.134 192.168.17.135 2. 配置hosts文件 分别在3个节点上配置/etc/hosts文件,内容如下: 192.168.17.133 master 192.168.17.134 slave1 192.168.17.135 slave2 127.0.0.1 localhost localhost.l

hadoop集群环境搭建

1 hadoop集群规划 1.1 共有A.B.C 三台机器; 1.2 A 作为master,B作为slave1,C作为slave2; 1.3 IP &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;A :192.168.1.103;B:192.168.1.104;C:192.168.1.101; 1.4 OS:centos6.2(64bit) 2 hadoop集群搭建步骤 2.1 创建 hadoop用户,并使该用户拥

如何搭建Hadoop集群环境

第一步:安装 (1) 下载hadoop包 http://hadoop.apache.org/ (2) 登录需要配置hadoop的服务器(HadoopSrv01) su -gird(官方建议用grid账户搭建) (3) 解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird (4) 进入/home/gird 创建临时目录 tmp (5) 配置 hadoop-env.sh, core-site.xml, hdfs-site.xml,mapred-s