配置单节点伪分布式Hadoop

  先写的这一篇,很多东西没再重复写。

一.所需软件

  jdk和ubuntu都是32位的。

二.安装JDK

  1.建jdk文件夹

cd usr
sudo mkdir javajdk

  2.移动mv或者复制cp安装包

//进入桌面
cd home/hxsyl/DeskTop
sudo mv /usr/javajdk

  3.安装

//切换到root下
//如果忘记密码,先
sudo passwd
//直接会让你输入新密码,不需要输入原来的密码
//到jdk目录下
./jdk-6u30-linux-i586.bin
//如果提示权限不足,先
chmod 777 jdk-6u30-linux-i586.bin

  3.配置环境变量

sudo gedit /etc/profile

  加入如下内容

# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))
# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).
#set java environment
export JAVA_HOME=/usr/javajdk/jdk1.6.0_45
export JRE_HOME=/usr/local/java/jdk1.6.0_45/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

  注意:为了以后集群工作的方便,这里建议每台机器的java环境最好一致。一般更改/etc/profile文件后,需要重启机器才能生效。这里介绍一种不用重启使其生效的方法。

source /etc/profile

  这个我没试过,我记得win下配置jdk的环境变量,不需要重启吧.......通过

//根目录下(已经知道在哪了),可以查看是否配置成功
java -version

  注:java -version时出错:

The program 'java' can be found in the following packages:
* default-jre
* gcj-4.8-jre-headless
* openjdk-7-jre-headless
* gcj-4.6-jre-headless
* openjdk-6-jre-headless
Try: apt-get install <selected package>

  意思是,系统可能自带有java,且现在还是使用默认自带的,未使用自行安装的jdk,所以需要更改默认的jdk才OK!

sudo update-alternatives --install /usr/bin/java java /usr/javajdk/jdk1.6.0_30/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/javajdk/jdk1.6.0_30/bin/javac 300
sudo update-alternatives --config java

三.安装Hadoop

  1.先把Hadoop文件搞到usr/hadoop1.2.1file下,然后进入该文件并解压。

sudo  tar  -zxvf  hadoop-1.2.1.tar.gz
//hxsyl是此时登陆的用户
sudo  chown  -hR  hxsyl  /usr/hadoop1.2.1file

  2.配置环境变量

  直接洁的别人图,可以复制jdk的环境变量,然后结合这个图,修改配置下就ok。

  3.设置安全外壳协议

  推荐安装OpenSSH,Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH是必需安装的。虽然我们现在搭建的是一个伪分布式的平台,但是Hadoop没有区分开集群式和伪分布式,对于伪分布式,Hadoop会采用与集群相同的处理方式,即按次序启动文件conf/slaves中记载的主机进程,只不过在伪分布式中Salve为localhost而已,所以对于伪分布式,SSH是必须的。

//配置过程(首先确保连接上网络):
//安装SSH,在命令行输入如下
sudo  apt-get install openssh-server
//配置可以免密码登陆本机
//在命令行输入(注意其中的ssh前面还有一个“.”不要遗漏)
ssh-keygen  -t  dsa -P '' -f  ~/.ssh/id_dsa
(解释一下上面这条命令,ssh-keygen 代表生成密钥;-t 表示指定生成的密钥类型;dsa 是dsa密钥认证的意思;-P 用于提供密语(接着后面是两个单引号,不要打错);-f 表示指定生成密钥文件)
这条命令完成后,会在当前文件夹下面的.ssh文件夹下创建id_dsa和id_dsa.pub两个文件,这是SSH的一对私钥和公钥,把id_dsa.pub(公钥)追加到授权的key中去,输入如下命令:
cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys
说明:一般来说,安装SSH时会自动在当前用户下创建.ssh这个隐藏文件夹,一般不会直接看到,除非安装好了以后,在命令行使用命令ls才会看到。
输入ssh  localhost,显示登陆成功信息。

四.配置hadoop伪分布式

  1.现在进入到安装Hadoop的文件夹,找到里面的conf文件夹,点击进去;配置hadoop环境文件hadoop-env.sh;打开文件,找到某行有”# export JAVA_HOME = ...” 字样的地方,去掉“#”,然后在等号后面填写你自己的JDK路径。

  2.配置Hadoop的核心文件core-site.xml,打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置

<property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
         <name>hadoop.tmp.dir</name>
         <value>/home/hxsyl/tmp</value>
</property>

  注意:在最后一个value值中,上面是hxsyl,是因为那是我的用户名,所以你需要将那个修改为你自己的用户名。

  3.配置Hadoop中MapReduce的配置文件mapred-site.xml,打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置

<property>
     <name>mapred.job.tracker</name>
     <value>localhost:9001</value>
</property>

  4.配置Hadoop中hdfs-site.xml的配置文件,同样的在标签<configuration></configuration>中加入一下代码

<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop1.2.1file/hadoop-1.2.1/datalog1,/usr/local/hadoop/hadoop-1.2.1/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop1.2.1file/hadoop-1.2.1/data1,/usr/local/hadoop/hadoop-1.2.1/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

  注意:若是直接打开修改后无法保存,那么就

sudo gedit ...................

五.格式化HDFS并启动Hadoop

  1.首次运行hadoop必须进行格式化Hadoop文件系统,以后运行即可跳过。打开命令行,进入安装了Hadoop的文件路径下,然后在命令行输入

bin/hadoop  namenode -format
//格式化文件系统,然后启动Hadoop,在命令行里面输入
bin/start-all.sh

  2.验证是否正常启动,在命令行里面输入jps,然后回车。

  jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。

  关闭hadoop

bin/stop-all.sh   

  3.运行自带WordCount在上一篇博文中有详细说明。

  参考文献:http://www.cnblogs.com/yangxiao99/p/4574889.html

时间: 2024-09-25 17:44:23

配置单节点伪分布式Hadoop的相关文章

单节点伪分布式spark安装

问题描述 单节点伪分布式spark安装 wordcount.take()括号中的参数怎么确定??? 解决方案 安装单节点伪分布式 CDH hadoop 集群Linux下单节点Hadoop伪分布式安装单节点伪分布式hadoop的安装与配置

《深入理解大数据:大数据处理与编程实践》一一2.2 单机和单机伪分布式Hadoop系统安装基本步骤

2.2 单机和单机伪分布式Hadoop系统安装基本步骤 默认情况下,Hadoop被配置成一个以非分布式模式运行的独立Java进程,适合程序员在本地做编程和调试工作.Hadoop也可以在单节点上以伪分布式模式运行,用不同的Java进程模拟分布式运行中的各类节点(NameNode.DataNode.JobTracker.TaskTracker和Secondary NameNode).2.2.1 安装和配置JDK Hadoop是以Java语言写成,因而需要在本地计算机上预先安装Java 6或者更新版本

在ubuntu部署hadoop之单机模式与伪分布式模式部署

这几天刚接触Hadoop,在学习如何搭建一个Hadoop集群.对于初学者来说,环境搭建还是比较麻烦的,我这里说一下我的配置方法,仅供大家参考. 我的环境是ubuntu12.10+hadoop1.1.0. Hadoop的运行模式有以下三种. 单机模式(standalone) 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要

Hadoop伪分布式搭建操作步骤指南

一.准备工作 在 /opt/目录下创建文件夹modules,和softwares 修改操作权限(切换至root用户下) chown -R wxt:wxt /opt/  然后切换至普通用户 mkdir softwares    mkdir modules   安装lrzsz (在linux里可代替ftp上传和下载.) 首先安装lrzsz yum -y install lrzsz  上传文件,执行命令rz,会跳出文件选择窗口,选择好文件,点击确认即可. rz  下载文件,执行命令sz sz  二.H

hadoop伪分布式集群搭建与安装(ubuntu系统)

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip;  2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: (centos操作系统修改主机名命令:vi /etc/sy

大数据-hadoop伪分布式环境搭建

问题描述 hadoop伪分布式环境搭建 最近开始新学hadoop,想搭建个伪分布式环境,而自己的电脑配置不高,不能运行虚拟机,可以利用阿里云来搭建伪分布式运行环境吗? 解决方案 阿里云搞几台机器在一个局域网就可以搭建或者用单机模式 解决方案二: 嗯,单机模式是不是不用装虚拟机

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [lei@bogon ~]$ java -version openjdk version "1.8.0_65" OpenJDK Runtime Environment (build 1.8.0_65-b17) OpenJDK 64-Bit Server VM (build 25.65-b01,

Hadoop 2.x伪分布式环境搭建详细步骤_数据库其它

本文以图文结合的方式详细介绍了Hadoop 2.x伪分布式环境搭建的全过程,供大家参考,具体内容如下 1.修改hadoop-env.sh.yarn-env.sh.mapred-env.sh 方法:使用notepad++(beifeng用户)打开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml配置文件 1)修改core-

Hadoop学习之HBase的伪分布式安装

HBase的伪分布式安装 1.   HBase单台机器上的安装 a)    使用winscp将win下的HBase软件(hbase-0.94.7-security.tar.gz)包复制到linux下的/usr/local/下 b)   解压文件hbase-0.94.7-security.tar.gz #tar -xzvf hbase-0.94.7-security.tar.gz 更名为hbase #mv hbase-0.94.7-security hbase c)    增加hbase的环境变量