如何搭建Hadoop集群环境

第一步:安装

(1) 下载hadoop包 http://hadoop.apache.org/

(2) 登录需要配置hadoop的服务器(HadoopSrv01) su -gird(官方建议用grid账户搭建)

(3) 解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird

(4) 进入/home/gird 创建临时目录 tmp

(5) 配置 hadoop-env.sh, core-site.xml, hdfs-site.xml,mapred-site.xml ,masters,slaves文件

(6) 修改hadoop-env.sh 文件,只需要设置 export JAVA_HOME=/usr/java/jdk1.7.0 即可,其他不需要修改。

(7) 修改core-site.xml 文件,增加以下内容

<property>

<name>default.name</name>

<value>http://HadoopSrv01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/gird/hadoop-2.1.0/tmp</value>

</property>

(8) 修改hdfs-site.xml,根据你自己的datanode节点数,设置复制因子。

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

(9) 修改mapred-site.xml文件

<property>

<name>mapred.job.tracker</name>

<value>HadoopSrv01:9001</value>

</property>

(10) 修改masters,slaves 增加namenode,datanode节点配置。

masters:

HadoopSrv01

slaves:

HadoopSrv02

HadoopSrv03

(11) 格式化Hadoop集群 bin/hadoop namenode -format

(12) 启动集群 bin/start-all.sh

(13)检查后台进程是否OK /usr/java/jdk1.7.0/bin/jps

NameNode,JobTracker,DataNode,TaskTracker

如果以上都能看到,就说明Hadoop分布式环境搭建好了

 

第二步:测试

(1) 进入cd /home/gird mkdir input

(2) cd input

(3)通过输出重定向的方式,新增两个txt文件

echo "Hi everyone">Text1.txt  

echo "Hi,Hadoop">Text2.txt

(4) 查看Hadoop HDFS里是否有东西 

cd /home/gird/hadoop-2.1.0/bin/hadoop  fs -ls

返回:ls: Cannot  access .: No such file or directory

(5)把input目录下的文件拷贝到hadoop in目录下

 bin/hadoop fs -put ../put  ./in

 提示错误:

 put: org.apache.hadoop.hdfs.server .namenode.SafeModeException: Cannot create directory /user/gird/in. Name node is in safe mode.

执行:/home/gird/hadoop-2.1.0/bin/hadoop dfsadmin -safemode leave

(6) 执行example jar 进行统计分析。

 /home/gird/hadoop-2.1.0/bin/hadoop jar hadoop-examples-2.1.0.jar wordcount in out

(7) 查看执行输出文件。 

bin/hadoop fs -cat ./out/part-r-00000

返回:

Hadoop 1

Hi 2

everyone 1

 

第三步:配置SSH验证

 

(1) 依次登录登录到 HadoopSrv01,HadoopSrv02,HadoopSrv03,先进行(1),(2),(3)操作,然后进行第(4)步骤操作:

 

(1):su - grid

(2): ssh-keygen -t rsa  全部默认,直接回车,不需要输入任何东西。

(3): cd .ssh 进入.ssh目录

(4):  

HadoopSrv01上:

scp id_rsa.pub 

scp id_rsa.pub 

 

HadoopSrv02上:

scp id_rsa.pub 

scp id_rsa.pub 

    

HadoopSrv03上:

scp id_rsa.pub 

scp id_rsa.pub 

 

(2) 测试

ssh hostname 如果不需要输入密码就证明设置成功了。

时间: 2024-11-03 07:31:31

如何搭建Hadoop集群环境的相关文章

Linux服务器下搭建hadoop集群环境 redhat5/Ubuntu 12.04

Ubuntu 12.04 下搭建 hadoop 集群环境步骤 一. 搭建环境前的准备: 我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm 还在KVM中虚拟了4台机子,分别起名为: son-1        (ubuntu 12.04 32bit),son-2        (ubuntu 12.04 32bit),son-3        (

windows7下搭建hadoop集群环境

问题描述 有人会在win7下搭建hadoop集群环境吗?我急需要搭建,有会的帮帮忙吧,我整了两天了没弄出来,着急死了!cygwin安装完运行sshlocalhost出现这种错误,是怎么回事啊? 解决方案 解决方案二:我是真心不会,帮顶吧,有份资料可以参考下,去搜"王家林hadoop".解决方案三:楼上的问题解决了吗?我跟你遇到了完全相同的问题~跪求答案

cygwin在win7下搭建hadoop集群环境

问题描述 江湖救急!!有人会在win7下搭建hadoop集群环境吗?我急需要搭建!cygwin安装完运行sshlocalhost出错!

树莓派上搭建 Hadoop 集群环境的方法

最近在学习 Hadoop,正好前几天又在玩儿树莓派,查阅了一些文档,感觉在树莓派上搭建 Hadoop 集群是可行的,当然了,别对性能抱太大的希望,主要是感受一下分布式计算的魅力.在这个过程中参考了很多文档,先列在这里,基本上这些文档都非常详细了,大家可以直接参考. How to build 7 node Raspberry Pi Hadoop cluster Hadoop集群安装配置教程 Hadoop2.6.0 Ubuntu/CentOS 实验软硬件清单 以下是我的实验环境所用的硬件和软件版本清

hadoop集群环境的搭建

       今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Hadoop安装目录 master Master slaves NameNode DataNode JobTracker TaskTracker SecondaryNameNode 创建相同的用户的组名:hadoop. 安装hadoop-0.20.2时使用hadoop用户,并且hadoop的文件夹归属也是hadoop:

三天100元从零开始搭建Hadoop集群

    阿法狗把李昌镐都干掉了,不管是图形图片处理集群还是文字文本处理集群都将成为IT公司新一代的基础设施.公司准备先建立文字文本处理集群,即选择阿里E-MapReduce产品,快速搭建文本大数据处理系统,谋划公司新一代大数据处理架构,但是,初级阶段,不想为Hadoop的底层维护花费时间,集群维护一个工程师少说也要5K以上吧(四级城市),还有硬件和电费等等,公司决定先跑一个样本集群,再做下步谋划,以上也是很多公司对集群的态度吧.    创业阶段钱是精打细算了,阿里集群可以按时付费,最低每小时3.

批量部署Hadoop集群环境(1)

批量部署Hadoop集群环境(1) 1. 项目简介: 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来部署Hadoop.已经搭建完毕,分享出来供大家参考. 问题:看到Hadoop部署在一些资料上很是繁琐,一些简单的部署方法只是玩具,无法满足企业的部署条件,如果一台台服务器去部署,显然是不可行. 解决:在学习及其他资料后,准备以<Apache Hadoop Yarn: Moving Beyond Ma

搭建hadoop集群中遇到的各种问题,整理如下:

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;     和同伴一起搭建hadoop集群中遇到的各种问题,整理如下: 前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据.一转眼一两个月过去了,有些东 西对已经忘了.现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了.开始搭建Hadoop2.2.0分布式集群,也趁着这个机会 把

基于OSS存储搭建Hadoop集群

简介 本文以Ubuntu操作系统为例,介绍基于Aliyun OSS的hadoop-3.0.0-beta1的集群环境搭建过程,示例的集群环境包括1个master和2个slave节点(slave1和slave2).请参考官方文档. 操作账户默认使用root账户 注意:为了方便用户操作,减少错误发生,本文假定所有操作都是使用root账户:如果使用非root,请根据自己的实际情况进行操作步骤的修订. 在各个节点上操作目录均为/home/hadoop目录 所有下载软件包的存放和操作目录为:/home/ha