Hadoop 三台主机 集群搭建 详解（测试）

Hadoop 三台主机 集群搭建 详解

学习更多，请访问系列文章：

1. VMware
Redhat网络配置

2. Hadoop
三台主机 集群搭建 详解

3. Windows
下配置 Eclipse 连接 Hadoop 开发环境

部署环境：

OS：Redhat 5.5 Enterprise

JDK：jdk1.6.0_32

Hadoop：Hadoop-0.20.2

VMWare：7.0

节点安排及网络拓扑：

节点类型　　　　　　节点IP　　　　　　节点hostname

master节点　　　　 192.168.40.5　　master

slave节点　　　　　 192.168.40.5　　master(此时，master既是master节点，也是slave节点)

　　　　　　　　　　192.168.40.6　　salve1

　　　　　　　　　　192.168.40.7　　slave2

secondaryName节点192.168.40.5　　master(此时，master既是master节点，也是slave节点，也是secondaryNameNode)

配置步骤：

一、网络配置

首先关闭三台虚拟机的防火墙，步骤可参考：关闭防火墙

先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络，先配置master节点的网络：

① 静态网络IP配置见VMware
Redhat网络配置，分别将三台虚拟机的IP进行设置

② 修改主机名：vi /etc/hosts(解析IP要用)，添加

192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2

③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置

二、 安装jdk

Hadoop 是用java开发的，Hadoop的编译及mapreduce的运行都需要使用JDK，所以JDK是必须安装的

① 下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

② 在用户根目录下，建立bin文件夹：mkdir ~/bin（也可放在其他处，个人习惯而已）

③ 改变执行权限：chmod u+x jdk-6u26-linux-i586.bin

④ 执行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路确定

⑤ 配置环境变量：vi ~/.bash_profile,添加：

export JAVA_HOME=/root/bin/jdk1.6.0_32
export PATH=$PATH:$JAVA_HOME/bin

⑥ 使profile文件生效：source ~/.bash_profile

⑦ 验证是否配置成功：which java

[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定

⑧ 分别相同配置另外两台主机

<JDK Installation End>

三、建立ssh互信

hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程，所以SSH是必须安装的（redhat 5.5 Enterprise 以默认安装）。但是是否建立ssh互信（即无密码登陆）并不是必须的，但是如果不配置，每次启动hadoop，都需要输入密码以便登录到每台机器的Datanode上，而一般的hadoop集群动辄数百或数千台机器，因此一般来说都会配置ssh互信。

① 生成密钥并配置ssh无密码登陆主机(在master主机)

ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

② 将authorized_keys文件拷贝到两台slave主机

scp authorized_keys slave1:~/.ssh/

scp authorized_keys slave2:~/.ssh/

③ 检查是否可以从master无密码登陆slave机

ssh slave1(在master主机输入) 登陆成功则配置成功，exit退出slave1返回master

四、配置Hadoop

① 下载：点击到下载页面，选择hadoop-0.20.2.tar.gz

② 放到~/bin下解压： tar -xzvf hadoop-0.20.2.tar.gz

③ 解压后进入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

修改hadoop-env.sh:

export JAVA_HOME=/root/bin/jdk1.6.0_32
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

hadoop-env.sh里面有这一行，默认是被注释的，只需要把注释去掉，并且把JAVA_HOME 改成你的java安装目录即可

修改core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>Hadoop.tmp.dir</name>
    <value>/tmp/hadoop-root</value>
  </property>
</configuration>
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

注释一：hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的，namenode的名字空间存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根目录。

注释二：fs.default.name,设置namenode所在主机，端口号是9000

注释三：core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置，现在我们修改这三个site文件，目的就覆盖default里面的一些配置

修改hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

dfs.replication，设置数据块的复制次数，默认是3，如果slave节点数少于3，则写成相应的1或者2

修改mapred-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>http://master:9001</value>
  </property>
</configuration>
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

mapred.job.tracker，设置jobtracker所在机器，端口号9001

修改masters

master      
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

虽然masters内写的是master，但是个人感觉，这个并不是指定master节点，而是配置secondaryNameNode

修改slaves

master
slave1
slave2

转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/
 

配置了集群中所有slave节点

④ 添加hadoop环境变量，并 source ~/.bash_profile使之生效

export JAVA_HOME=/root/bin/jdk1.6.0_32
export HADOOP_HOME=/root/bin/hadoop-0.20.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

⑤ 将已经配置好的hadoop-0.20.2，分别拷贝到另外两台主机，并做相同配置

⑥ 此时，hadoop的集群配置已经完成，输入hadoop，则可看到hadoop相关的操作

[root@master ~]# hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  mradmin              run a Map-Reduce admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME <src>* <dest> create a hadoop archive
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

⑦ 此时，首先格式化hadoop

在命令行里执行，hadoop namenode -format

⑧ 启动hadoop 

在命令行里执行，start-all.sh，或者执行start-dfs.sh,再执行start-mapred.sh

⑨ 输入jps，查看启动的服务进程

master节点：
[root@master ~]# jps
25429 SecondaryNameNode
25500 JobTracker
25201 NameNode
25328 DataNode
18474 Jps
25601 TaskTracker
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

slave节点：
[root@slave1 ~]# jps
4469 TaskTracker
4388 DataNode
29622 Jps
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

如上显示，则说明相应的服务进程都启动成功了。

圈10(额，像①一样的圈出不来了(⊙o⊙)) 查看hdfs分布式文件系统的 文件目录结构

hadoop fs -ls /
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

此时发现为空，因为确实什么也没有，运行一下命令，则可创建一个文件夹：

hadoop fs -mkdir /newDir
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

再次执行hadoop fs -ls /，则会看到newDir文件夹，关于hadoop fs 命令，参见：HDFS
命令

圈11 运行hadoop 类似hello world的程序

本来，都是以word count来运行的，但是还得建文件夹之类的，有一个更简单的，就是example中的计算π值的程序，我们来计算一下，进入hadoop目录，运行如下：

[root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2
Number of Maps  = 4
Samples per Map = 2
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Starting Job
12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4
12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005
12/05/20 09:45:20 INFO mapred.JobClient:  map 0% reduce 0%
12/05/20 09:45:30 INFO mapred.JobClient:  map 50% reduce 0%
12/05/20 09:45:31 INFO mapred.JobClient:  map 100% reduce 0%
12/05/20 09:45:45 INFO mapred.JobClient:  map 100% reduce 100%
12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005
12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18
12/05/20 09:45:47 INFO mapred.JobClient:   Job Counters
12/05/20 09:45:47 INFO mapred.JobClient:     Launched reduce tasks=1
12/05/20 09:45:47 INFO mapred.JobClient:     Launched map tasks=4
12/05/20 09:45:47 INFO mapred.JobClient:     Data-local map tasks=4
12/05/20 09:45:47 INFO mapred.JobClient:   FileSystemCounters
12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_READ=94
12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_READ=472
12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=334
12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215
12/05/20 09:45:47 INFO mapred.JobClient:   Map-Reduce Framework
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input groups=8
12/05/20 09:45:47 INFO mapred.JobClient:     Combine output records=0
12/05/20 09:45:47 INFO mapred.JobClient:     Map input records=4
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce shuffle bytes=112
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce output records=0
12/05/20 09:45:47 INFO mapred.JobClient:     Spilled Records=16
12/05/20 09:45:47 INFO mapred.JobClient:     Map output bytes=72
12/05/20 09:45:47 INFO mapred.JobClient:     Map input bytes=96
12/05/20 09:45:47 INFO mapred.JobClient:     Combine input records=0
12/05/20 09:45:47 INFO mapred.JobClient:     Map output records=8
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input records=8
Job Finished in 28.952 seconds
Estimated value of Pi is 3.50000000000000000000
转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

计算PI值为3.5，还算靠近，至于输出log日志，就不介绍了，以后学的稍微深入，可多做了解。

Hadoop 三节点集群的配置就介绍到这里，接下来，会介绍一下如何在windows中远程连接hadoop，并配置eclipse来进行MapReduce的开发和调试。

 

时间： 2024-12-21 21:00:06

Hadoop 三台主机 集群搭建 详解（测试）的相关文章

Mongo Replica Set集群搭建详解

Mongo Replica Set集群介绍:     Replica Set使用的是n个mongod节点,构建具备自动的容错功能(auto-failover),自动恢复的(auto-recovery)的高可用方案. 如上图,Mongodb(M)表示主节点,Mongodb(S)表示备节点,Mongodb(A)表示仲裁节点.主备节点存储数据,仲裁节点不存储数据.客户端同时连接主节点与备节点,不连接仲裁节点. 默认设置下,主节点提供所有增删查改服务,备节点不提供任何服务.但是可指定读策略(本文PHP连

hadoop伪分布式集群搭建与安装（ubuntu系统）

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip;  2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: (centos操作系统修改主机名命令:vi /etc/sy

MySQL数据库服务器集群配置详解介绍

一.介绍 这篇文档旨在介绍如何安装配置基于2台服务器的MySQL数据库集群.并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行. 注意! 虽然这是基于2台服务器的MySQL集群,但也必须有额外的第三台服务器作为管理节点,但这台服务器可以在集群启动完成后关闭.同时需要注意的是 并不推荐在集群启动完成后关闭作为管理节点的服务器.尽管理论上可以建立基于只有2台服务器的MySQL集群,但是这样的架构,一旦一台服务器宕机之后集 群就无法继续正常工作了,这样也就失去了集群的意义了.出于这个原因

基于Kubernetes构建Docker集群管理详解

在正式介绍之前,大家有必要先理解Kubernetes几个核心概念及其承担的功能.以下为Kubernetes的架构设计图: 1. Pods 在Kubernetes系统中,调度的最小颗粒不是单纯的容器,而是抽象成一个Pod,Pod是一个可以被创建.销毁.调度.管理的最小的部署单元.比如一个或一组容器. 2. Replication Controllers Replication Controller是Kubernetes系统中最有用的功能,实现复制多个Pod副本,往往一个应用需要多个Pod来支撑,并

Mysql集群配置详解

环境: Vmware workstation6.5 操作系统:Centos 5.2 (2台) 第一台: 主机名:mysql1 IP: 192.168.1.30 第二台 主机名:mysql2 IP: 192.168.1.32 软件下载安装 下载软件地址:http://dev.mysql.com/downloads/select.php?id=14 选择操作系统是RedHat Enterprise 版本 如下: MySQL-Cluster-gpl-client-7.0.8a-0.rhel5.i386

MongoDB主从集群配置详解

创建必要的目录和认证文件: [root@mongo mongo]# mkdir keyfile [root@mongo mongo]# echo "mongo cluster one" > keyfile/m1 [root@mongo mongo]# echo "mongo cluster one" > keyfile/m2 [root@mongo mongo]# echo "mongo cluster one" > keyfi

【Oracle 集群】Linux下Oracle RAC集群搭建之基本测试与使用（九)

检查RAC状态 主节点测试各个节点rac运行是否正常.显示rac节点详细信息 $ srvctl config database -d rac Database unique name: rac Database name: rac Oracle home: /u01/app/oracle/product/11.2.0/db_1 Oracle user: oracle Spfile: /u01/oradata/rac/spfilerac.ora Domain: localdomain Start

详解MySQL集群搭建_Mysql

概述 MySQL Cluster 是MySQL 适合于分布式计算环境的高实用.可拓展.高性能.高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%.MySQL Cluster允许在无共享的系统中部署"内存中"数据库集群,通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求.此外,由于每个组件有自己的内存和磁盘,不存在单点故障. 实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MyS

hadoop集群搭建详述

1.集群搭建策略 分析: 我手上只有3台电脑,两台华硕笔记本i7.i3的处理器,一台台式机Pentium4处理器.为了更好的测试zookeeper的功能, 我们总共需要6台ubuntu(Ubuntu 14.04.3 LTS)的主机.以下是我的主机分布策略: i7:开启4台ubuntu虚拟机分别是 虚拟机名 内存 硬盘 网络连接 master 1G 20G 桥接 master2 1G 20G 桥接 rm 512M 20G 桥接 slave3 1G 20G 桥接 i3: 安装ubuntu系统 ,作为