安装Hadoop1.0.4伪分布式的方法

 一、使用环境

操作系统:Ubuntu12.04

Hadoop版本:1.0.4

二、Hadoop官网安装手册 
单机安装分为“standalone”和“pseudo-distributed”两种模式,我使用的是伪分布式模式。

手册的安装步骤很详细,没有必要当翻译工了。但是手册为了通用性,牺牲了一些关键问题的讨论。第三节中提及一下。

三、手册缺陷 
手册主要有两个问题没有说清楚:

1.Hadoop安装在哪个目录下好?

选择一般有两种:/usr/local和家目录下。我选择安装在家目录下,因为开始玩hadoop的时候,这样避免了权限的麻烦;如果要部署应用的话,应该安装在/usr/local。

2.配置文件的问题

这是安装hadoop最重要的步骤。所有配置文件均在${HADOOP_HOME}/conf目录下。

如果完全按照手册配置,你的hadoop可能经常遇到NameNode或DataNode启动不起来的情况。配置文件的不同主要在core-site.xml.

手册配置如下:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>我的配置如下:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
 <property> 
 <name>hadoop.tmp.dir</name> 
 <value>/home/zhengeek/hadoop-tmp</value> 
<description>A base for other temporary directories.</description> 
</property> 
 </configuration>

有两处不同:

1.9000和8020这两个端口都可以,只要没有被占用。

2.最容易出问题的地方就在这里。比如这个哥们遇到的问题。

hadoop运行起来,hdfs和mapreduce有许多数据需要保存。这可以通过dfs.name.dir 和 dfs.data.dir设置。如果没有设置,那么数据就会默认存放在/tmp目录下,如果机器重启,tmp目录下的数据就会丢失,namenode自然启动不起来了。

如果设置了hadoop.tmp.dir,那么这些数据就会默认存放在改目录下。

有关hadoop.tmp.dir设置的讨论。

四、启动hadoop

1.格式化hdfs

$bin/hadoop namenode -format

2.启动hdfs

$bin/start-all.sh

3.检查是否成功

$jps

若成功,会看到namenode,secondarynamenode,datanode,jobtracker和tasktracker五个进程。

时间: 2024-08-29 08:15:35

安装Hadoop1.0.4伪分布式的方法的相关文章

windows配置hadoop-1.1.0的伪分布式环境(续)

windows配置hadoop-1.1.0的伪分布式环境(续) 博客分类: bigdata windowshadoop 在前一篇文章中,介绍了一写常见问题的解决方法. 但是,当我重装系统,再次按照前面一篇文章( http://winseclone.iteye.com/blog/1734737 ) 安装cygwin和hadoop-1时,发现伪分布式环境使用mapred时,总是报错.(忘了,但是好像当时没有遇到过这种情况.就当是安装win8送给自己的礼物吧!). 怀疑了很多东西,配置有问题,重新自定

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBase对数据的增删查等操作.4.简单概述了Hbase的架构体系.5.zookeeper的单例安装和常用操

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [lei@bogon ~]$ java -version openjdk version "1.8.0_65" OpenJDK Runtime Environment (build 1.8.0_65-b17) OpenJDK 64-Bit Server VM (build 25.65-b01,

Hadoop学习之HBase的伪分布式安装

HBase的伪分布式安装 1.   HBase单台机器上的安装 a)    使用winscp将win下的HBase软件(hbase-0.94.7-security.tar.gz)包复制到linux下的/usr/local/下 b)   解压文件hbase-0.94.7-security.tar.gz #tar -xzvf hbase-0.94.7-security.tar.gz 更名为hbase #mv hbase-0.94.7-security hbase c)    增加hbase的环境变量

hadoop伪分布式集群搭建与安装(ubuntu系统)

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip;  2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: (centos操作系统修改主机名命令:vi /etc/sy

单节点伪分布式spark安装

问题描述 单节点伪分布式spark安装 wordcount.take()括号中的参数怎么确定??? 解决方案 安装单节点伪分布式 CDH hadoop 集群Linux下单节点Hadoop伪分布式安装单节点伪分布式hadoop的安装与配置

CentOS 7.2 下编译安装PHP7.0.10+MySQL5.7.14+Nginx1.10.1的方法详解(mini版本)_php实例

一.安装前的准备工作 1.yum update #更新系统 2.yum install gcc gcc-c++ autoconf automake cmake bison m4 libxml2 libxml2-devel libcurl-devel libjpeg-devel libpng-devel libicu-devel #安装php.MySQL.Nngix所依赖的包 3.下载以下包 #我把所有源文件都下载在root目录,读者可自行修改源文件存放目录 3.1 libmcrypt-2.5.8

CentOS 7.2 下编译安装PHP7.0.10+MySQL5.7.14+Nginx1.10.1的方法详解(mini版本)

一.安装前的准备工作 1.yum update #更新系统 2.yum install gcc gcc-c++ autoconf automake cmake bison m4 libxml2 libxml2-devel libcurl-devel libjpeg-devel libpng-devel libicu-devel #安装php.MySQL.Nngix所依赖的包 3.下载以下包 #我把所有源文件都下载在root目录,读者可自行修改源文件存放目录 3.1 libmcrypt-2.5.8

在ubuntu部署hadoop之单机模式与伪分布式模式部署

这几天刚接触Hadoop,在学习如何搭建一个Hadoop集群.对于初学者来说,环境搭建还是比较麻烦的,我这里说一下我的配置方法,仅供大家参考. 我的环境是ubuntu12.10+hadoop1.1.0. Hadoop的运行模式有以下三种. 单机模式(standalone) 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要