《Hadoop实战第2版》——2.3节在Windows上安装与配置Hadoop

2.3 在Windows上安装与配置Hadoop

2.3.1 安装JDK 1.6或更高版本
相对于Linux,JDK在Windows上的安装过程更容易,你可以在http://www.java.com/zh_CN/download/manual.jsp下载到最新版本的JDK。这里再次申明,Hadoop的编译及MapReduce程序的运行,很多地方都需要使用JDK的相关工具,因此只安装JRE是不够的。
安装过程十分简单,运行安装程序即可,程序会自动配置环境变量(在之前的版本中还没有这项功能,新版本的JDK已经可以自动配置环境变量了)。

2.3.2 安装Cygwin
Cygwin是在Windows平台下模拟UNIX环境的一个工具,只有通过它才可以在Windows环境下安装Hadoop。可以通过下面的链接下载Cygwin:http://www.cygwin.com/
双击运行安装程序,选择install from internet。
根据网络状况,选择合适的源下载程序。
进入select packages界面,然后进入Net,选中OpenSSL及OpenSSH(如图2-1所示)。

如果打算在Eclipse上编译Hadoop,还必须安装Base Category下的sed(如图2-2所示)。

另外建议安装Editors Category下的vim,以便在Cygwin 上直接修改配置文件。
2.3.3 配置环境变量
依次右击“我的电脑”,在弹出的快捷菜单中依次单击“属性”→“高级系统设置”→“环境变量”,修改环境变量里的path设置,在其后添加Cygwin的bin目录。
2.3.4 安装sshd服务
单击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令,当要求输入Yes/No时,选择输入No。当显示“Have fun”时,表示sshd 服务安装成功。
2.3.5 启动sshd服务
在桌面上的“我的电脑”图标上右击,在弹出的快捷菜单中单击“管理”命令,启动CYGWIN sshd 服务,或者直接在终端下输入下面的命令启动服务:
net start sshd
2.3.6 配置SSH免密码登录
执行ssh-keygen命令生成密钥文件。按如下命令生成authorized_keys文件:

cd ~/.ssh/
cp id_rsa.pub authorized_keys

完成上述操作后,执行exit 命令先退出Cygwin 窗口,如果不执行这一步操作,后续的操作可能会遇到错误。
接下来,重新运行Cygwin,执行ssh localhost 命令,在第一次执行时会有提示,然后输入yes,直接回车即可。

2.3.7 安装并运行Hadoop
在Windows上安装Hadoop与在Linux上安装的过程一样,这里就不再赘述了,不过有两点需要注意:
1)在配置conf/hadoop-evn.sh文件中Java的安装路径时,如果路径之间有空格,需要将整个路径用双引号引起来。例如可以进行配置:

export JAVA_HOME="/cygdrive/c/Program Files/Java/jdk1.6.0_22"

其中cygdrive表示安装cygdrive之后系统的根目录。
另外一种办法是在cygwin窗口使用类似下面的命令创建文件链接,使后面的文件指向Windows下安装的JDK,然后将conf/hadoop-env.sh中JDK配置为此链接文件:

$ ln -s /cygdrive/c/Program\ Files/Java/jdk1.6.0_22 /usr/local/jdk

2)在配置conf/mapred-site.xml文件时,应增加对mapred.child.tmp属性的配置,配置的值应为一个Linux系统的绝对路径,如果不配置,Job在运行时就会报错。具体配置为:

<property>
    <name>mapred.child.tmp</name>
    <value>/home/Administrator/hadoop-1.0.1/tmp</value>
</property>

同样需要在conf/core-site.xml文件中为hadoop.tmp.dir属性配置一个和mapred.child.tmp属性相似的绝对路径。

时间: 2024-09-15 00:02:41

《Hadoop实战第2版》——2.3节在Windows上安装与配置Hadoop的相关文章

《Hadoop实战第2版》——2.1节在Linux上安装与配置Hadoop

2.1 在Linux上安装与配置Hadoop 在Linux上安装Hadoop之前,需要先安装两个程序: 1)JDK 1.6(或更高版本).Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK.因此在安装Hadoop前,必须安装JDK 1.6或更高版本. 2)SSH(安全外壳协议),推荐安装OpenSSH.Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分开集群

《Hadoop实战第2版》——2.2节在Mac OSX上安装与配置Hadoop

2.2 在Mac OSX上安装与配置Hadoop 由于现在越来越多的人使用Mac Book,故笔者在本章中增加了在Mac OS X上安装与配置Hadoop的内容,供使用Mac Book的读者参考. 2.2.1 安装Homebrew Mac OS X上的Homebrew是类似于Ubuntu下apt的一种软件包管理器,利用它可以自动下载和安装软件包,安装Homebrew之后,就可以使用Homebrew自动下载安装Hadoop.安装Homebrew的步骤如下: 1)从Apple官方下载并安装内置GCC

在Mac OSX上安装与配置Hadoop

在Mac OSX上 安装与配置Hadoop 博客分类: Hadoop hadoopbrewxcodegccosx&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 由于现在越来越多的人使用Mac Book,故笔者在本章中增加了在Mac OS X上安装与配置Hadoop的内容,供使用Mac Book的读者参考. 2.2.1 安装Homebrew Mac OS X上的Homebrew是类似于 Ubuntu下apt的一种

《Hadoop实战第2版》——导读

目 录 前 言第1章 Hadoop简介1.1 什么是Hadoop1.2 Hadoop项目及其结构1.3 Hadoop体系结构1.4 Hadoop与分布式开发1.5 Hadoop计算模型-MapReduce1.6 Hadoop数据管理1.7 Hadoop集群安全策略1.8 本章小结第2章 Hadoop的安装与配置2.1 在Linux上安装与配置Hadoop2.2 在Mac OSX上安装与配置Hadoop2.3 在Windows上安装与配置Hadoop2.4 安装和配置Hadoop集群2.5 日志分

《Hadoop实战第2版》——2.4节安装和配置Hadoop集群

2.4 安装和配置Hadoop集群 2.4.1 网络拓扑 通常来说,一个Hadoop的集群体系结构由两层网络拓扑组成,如图2-3所示.结合实际应用来看,每个机架中会有30~40台机器,这些机器共享一个1GB带宽的网络交换机.在所有的机架之上还有一个核心交换机或路由器,通常来说其网络交换能力为1GB或更高.可以很明显地看出,同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富.这也是Hadoop随后设计数据读写分发策略要考虑的一个重要因素. 2.4.2 定义集群拓扑 在实际应用中,为

《Python数据可视化编程实战》—— 1.5 在Windows上安装matplotlib

1.5 在Windows上安装matplotlib Python数据可视化编程实战在本节中,我们将演示如何安装Python和matplotlib.假设系统中没有预先安装Python. 1.5.1 准备工作 在Windows上安装matplotlib有两种方式.较简单的方式是安装预打包的Python环境,如EPD.Anaconda和Python(x,y).这是本书推荐的安装方式,尤其对于初学者来说更是如此. 第二种方式,是使用预编译的二进制文件来安装matplotlib和依赖软件包.需要注意安装的

《PHP、MySQL和Apache入门经典(第5版)》一2.5 在Windows上安装MySQL

2.5 在Windows上安装MySQL PHP.MySQL和Apache入门经典(第5版) Windows上的MySQL安装过程使用一个标准的Microsoft Windows安装程序(Microsoft Windows Installer,MSI)文件来完成在Windows XP. Windows Server 2003.Windows Vista或Windows 7机器上MySQL的安装和配置过程.到位于http://dev.mysql.com/downloads/mysql/5.0.ht

《PHP、MySQL和Apache入门经典(第5版)》一一2.5 在Windows上安装MySQL

2.5 在Windows上安装MySQL PHP.MySQL和Apache入门经典(第5版) Windows上的MySQL安装过程使用一个标准的Microsoft Windows安装程序(Microsoft Windows Installer,MSI)文件来完成在Windows XP. Windows Server 2003.Windows Vista或Windows 7机器上MySQL的安装和配置过程.到位于http://dev.mysql.com/downloads/mysql/5.0.ht

《Python数据可视化编程实战》——1.5 在Windows上安装matplotlib

1.5 在Windows上安装matplotlib 在本节中,我们将演示如何安装Python和matplotlib.假设系统中没有预先安装Python. 1.5.1 准备工作 在Windows上安装matplotlib有两种方式.较简单的方式是安装预打包的Python环境,如EPD.Anaconda和Python(x,y).这是本书推荐的安装方式,尤其对于初学者来说更是如此. 第二种方式,是使用预编译的二进制文件来安装matplotlib和依赖软件包.需要注意安装的NumPy和SciPy的版本,