hadoop 2.6伪分布安装

hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置:

(安装JDK、创建用户、设置SSH免密码 这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下)

另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove hadoop)

一、修改hadoop-env.sh

主要是设置JAVA_HOME的路径,另外按官网说法还要添加一个HADOOP_PREFIX的导出变量,参考下面的内容:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0

 

二、修改core-site.xml

 1 <configuration>
 2     <property>
 3       <name>fs.defaultFS</name>
 4       <value>hdfs://172.xx.xx.xxx:9000</value>
 5     </property>
 6     <property>
 7       <name>hadoop.tmp.dir</name>
 8       <value>/home/hadoop/hadoop-2.6.0/tmp</value>
 9     </property>
10 </configuration>

上面的IP,大家换成自己的IP即可, 另外注意:临时目录如果不存在,请先手动mkdir创建一个

 

三、修改hdfs-site.xml

 1 <configuration>
 2   <property>
 3     <name>dfs.datanode.ipc.address</name>
 4     <value>0.0.0.0:50020</value>
 5   </property>
 6   <property>
 7     <name>dfs.datanode.http.address</name>
 8     <value>0.0.0.0:50075</value>
 9   </property>
10   <property>
11     <name>dfs.replication</name>
12     <value>1</value>
13   </property>
14 </configuration>

注:如果只需要跑起来即可,只需要配置dfs.replication即可,另外二个节点,是为了方便eclipse里,hadoop-eclipse-plugin配置时,方便通过ipc.address连接,http.address则是为了方便通过浏览器查看datanode

 

四、修改mapred-site.xml

伪分布模式下,这个可以不用配置

 

五、修改yarn-site.xml

1 <configuration>
2   <property>
3     <name>yarn.nodemanager.aux-services</name>
4     <value>mapreduce_shuffle</value>
5   </property>
6 </configuration>

 

可以开始测试了:

1.先格式化

bin/hdfs namenode –format

2、启动dfs、yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

然后用jps查看java进程,应该能看到以下几个进程:

25361 NodeManager
24931 DataNode
25258 ResourceManager
24797 NameNode
25098 SecondaryNameNode

还可以用以下命令查看hdfs的报告:

bin/hdfs dfsadmin -report 正常情况下可以看到以下内容

Configured Capacity: 48228589568 (44.92 GB)
Present Capacity: 36589916160 (34.08 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: dc191
Decommission Status : Normal
Configured Capacity: 48228589568 (44.92 GB)
DFS Used: 49152 (48 KB)
Non DFS Used: 11638673408 (10.84 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue May 05 17:42:54 CST 2015

3、web管理界面查看

http://localhost:50070/

http://localhost:8088/

4、在hdfs中创建目录

bin/hdfs dfs -mkdir /x

这样就在hdfs中创建了一个目录x

5、向hdfs中放入文件

bin/hdfs dfs -put README.txt /x

上面的命令会把当前目录下的README.TXT放入hdfs的/x目录中,在web管理界面里也可以看到该文件

参考文档:Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.

 

时间: 2024-07-31 12:07:48

hadoop 2.6伪分布安装的相关文章

hadoop: hbase1.0.1.1 伪分布安装

环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压 到官网 http://hbase.apache.org 下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为 /Users/jimmy/app/hbase-1.0.1.1 二.设置环境变量 ... export HBASE_HOME=/Users/jimmy/app/hbase-1.0.1.

hadoop 2.6全分布安装

环境:centos 6.6 + hadoop2.6 虚拟机:(vmware fusion 7.0.0) 虚拟机hostname      /    IP地址 master / 192.168.187.102 slave01 / 192.168.187.103 slave02 / 192.168.187.104 注:前三个步骤都是准备工作,如果已经完成,可直接进入步骤四 步骤一: 先在3台虚拟机上,设置hostname及修改hosts文件 1.1 先正确设置各虚拟机的hostname  sudo

hadoop学习第二天之伪分布模式安装(下)

继续伪分布安装 7.   安装JDK 使用winscp将hadoop和jdk复制到linux目录下 a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录 左边windows,右边linux.在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中. b)     解压hadoop-1.1.2.tar.gz #tar  –xzvf   hadoop-1.1.2.tar.gz c)    

单机伪分布ganglia 监控hadoop,监控不到hadoop的相关监测指标

问题描述 单机伪分布ganglia 监控hadoop,监控不到hadoop的相关监测指标 就一台计算机,ubuntu 12.04 安装ganglia 是通过apt-get ... . ganglia版本是3.1.7 hadoop是2.4.1,hadoop是单机伪分布式环境下,相关配置配置好后,主要是ip地址,都是127.0.0.1,在监控的web页面上只能监控到cpu,内存,网络等指标,但hadoop 的相关指标(hdfs mapreduce)监测不到.下面是配置文件.麻烦看看是什么原因. gm

Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(1)单机伪分布

总体概述 1. 目标 1). 零基础手把手纯操作,包含每个细节 2). 逐级进阶,每个阶段都在上一阶段的基础上修改而成 2. 工具及版本 1). 操作系统Windows 10 2). 虚拟机软件VMware Workstation 12 Pro 3). Linux版本CentOS-6.9-x86_64-minimal 4). jdk版本jdk-7u67-linux-x64.tar.gz 5). hadoop版本hadoop-2.6.5.tar.gz 6). 辅助工具: xShell, xFtp

hadoop学习第一天之伪分布模式安装( 上)

Hadoop核心项目: 1.   HDFS:Hadoop Distributed File System 分布式文件系统 2.   MapReduce:并行计算框架   HDFS的架构: 主从结构:                    主节点:只有一个,namenode                    从节点:有很多歌,datanodes    Namenode负责: 3.   接收用户操作请求 4.   维护文件系统的目录结构 5.   管理文件与block之间的关系,block与da

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [lei@bogon ~]$ java -version openjdk version "1.8.0_65" OpenJDK Runtime Environment (build 1.8.0_65-b17) OpenJDK 64-Bit Server VM (build 25.65-b01,

Hadoop学习之HBase的伪分布式安装

HBase的伪分布式安装 1.   HBase单台机器上的安装 a)    使用winscp将win下的HBase软件(hbase-0.94.7-security.tar.gz)包复制到linux下的/usr/local/下 b)   解压文件hbase-0.94.7-security.tar.gz #tar -xzvf hbase-0.94.7-security.tar.gz 更名为hbase #mv hbase-0.94.7-security hbase c)    增加hbase的环境变量

hadoop +hbase +zookeeper 完全分布搭建 (版本一)

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等.最新的hadoop-2.6.0又增加了YARN HA 注意:apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译 一.重新编译  原因是hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时出错,不影响使用. 解决