本文承接上一篇《Hadoop参考设计组组件及关键步骤(一)》和《Hadoop参考设计组组件及关键步骤:Linux系统安装(二)》的内容,将针对Hadoop参考设计组组件及关键步骤:">Apache Hadoop英特尔分发版安装进行详细的说明,详情请见以下内容。
在安装Apache Hadoop*英特尔分发版之前,请确保以下工作已完成:
所有节点主机都已安装CentOS6.3,安装方法参见上一节。在Hadoop安装过程中同样需要CentOS安装镜像,请做好准备。通过RMN4远程连接,或者将镜像文件拷贝至主节点上。
节点已安装Raid驱动,并且已将所有Raid中的硬盘挂载到/mnt/目录下。
所有主机已连接,网口以配置,所有主机可以互相ping通。
在所有主机的/etc/hosts下添加主机名与IP的对应表。如下图所示。
完成以上工作后,就可以开始安装Hadoop系统了。
将Hadoop安装包复制到文件目录下,解压。在该文件目录下打开终端,输入./install,可以进入如下界面。
一路选yes或continue,如果出现hostname resolve error的问题,请先手动配置每台机器上的hosts文件。
如下图所示,在所有服务器的终端中输入gedit /etc/hosts,添加ip地址和主机名,格式如下图。之后就可以重新安装了。
之后安装向导会提示选择选择Hadoop所用的网卡接口,选择All表示绑定所有接口。用户(而不是集群中的服务器)通过这个网络接口访问Hadoop。这里可以选择All。
一路选yes,如果出现以下提示,选yes。
安装Apache Hadoop*英特尔分发版和进行集群管理需要一个Linux系统的软件包资源库。您可以选择在本地主机上创建一个资源库,或使用一个存在的资源库。如果您选择在本地主机上创建,您则需要一个Linux系统的安装DVD光盘或者ISO文件来创建资源库。如果您选择使用一个存在的资源库,须要输入已存在Linux系统资源库的URL。
这里建议通过RMN4加载系统镜像,或者将镜像拷贝至系统中加载。选择create new repository。
如果使用RMN4,选择Use DVD disc,如果使用镜像安装,选择Use ISO file。
这里请放入CentOS-6.3-x86_64-bin-DVD1.iso,选择yes。
系统会自动开始安装。该过程较慢,请耐心等待。
由于不需要第二个镜像中的内容,请在以下画面选择no。
之后系统会提示选择通过哪个网口在其他节点上安装包,选择任意配置好的网口即可。
之后系统就会自动安装。出现以下提示后,安装即完成。
接下来要进入webUI界面进行节点配置。在web浏览器中输入https://’hostname’:9443。其中hostname为主节点的主机名。以这里为例就是https://Hadoop3:9443。用户名和密码默认都为admin。
输入用户名和密码登录后,最终用户许可协议将会出现。请接受许可协议。
接受最终用户许可协议后,将出现欢迎使用Hadoop管理中心的提示窗口。选择“yes”。会出现下图提示。选择除了HighAvailability的所有内容。点击next。
第二步会提示从网络环境中找到所有连接到主节点的节点。点击Add Nodes。
如下图所示,如果Method 选single,就需要逐个添加节点,选Batch可以添加一个网段的所有节点。如图所示,在Start IP和End IP输入需要搜索的IP地址段,并输入root密码。在界面中点击开始查找按钮,进入检测机器界面。
添加搜索到的节点。点击Add。
系统提示会要求安装必要软件。选yes继续。完成后就会显示所有节点状态为connected。
这里不需要改变配置,点击next继续。
进入选择用户权限设置界面。选择Simple User Based Authentication。点击next继续。
之后系统会提示是否安装。选择yes。系统会自动安装接下来的部分。所有任务完成后,点击ok并关闭任务窗口。
此时所有节点的状态变为successful,表示节点安装配置成功。点击next继续。
接下来开始进行集群拓扑配置。进入HDFS组件控制节点的配置界面。首先要配置主节点NameNode,请选择配置最好的一台机器作为NameNode。Secondary NameNode时主节点的备份,现在可以暂时不设置。点击next继续。
进入MapReduce组件控制节点的配置界面。这里必须选择一台服务器作为MapReduce的任务分配器,而在上一步配置HDFS组件控制节点中,您选择的主命名节点将被默认作为任务分配器。点击next继续。
进入Zookeeper组件控制节点配置界面。这里可以选择ZooKeeper节点,建议使用奇数并且数量至少为3。点击绿点添加一列,在显示为红点之后双击红点边上的空白处,选择所要添加的节点名称。
选择结束后点击“下一步”继续,选择HMaster节点,默认与Zookeeper节点一致。
进入Hive组件控制节点配置界面。这里可以选择Hive服务所安装的服务器。选择结束后点击“下一步”继续。
配置完成。点击finish,出现提示选yes。系统会自动进行余下的工作。
至此,集群安装配置已全部完成。
最后,进入界面,将ZooKeeper,HDFS,MapReduce依次打开。系统就开始运作了。
集群配置及优化
常见问题:
文件数达到上限:
先将所有Hadoop服务关闭。在intel manager页面下,在左边栏Configuration下,点击HDFS,在中间偏上的标签栏Full Configuarion,在keyword中输入xcievers找到dfs.DataNode.max.xcievers,将对应value改大。点击save。再点击左边栏configuration下的Nodes中点击Provisioning Service Properties。
超时错误:
在configuration下的MapReduce中,在Full Configuration中将mapred.task.timeout改为600000。