Hadoop参考设计组组件及关键步骤:Apache Hadoop英特尔分发版安装(三)

本文承接上一篇《Hadoop参考设计组组件及关键步骤(一)》和《Hadoop参考设计组组件及关键步骤:Linux系统安装(二)》的内容,将针对Hadoop参考设计组组件及关键步骤:">Apache Hadoop英特尔分发版安装进行详细的说明,详情请见以下内容。

在安装Apache Hadoop*英特尔分发版之前,请确保以下工作已完成:

所有节点主机都已安装CentOS6.3,安装方法参见上一节。在Hadoop安装过程中同样需要CentOS安装镜像,请做好准备。通过RMN4远程连接,或者将镜像文件拷贝至主节点上。

节点已安装Raid驱动,并且已将所有Raid中的硬盘挂载到/mnt/目录下。

所有主机已连接,网口以配置,所有主机可以互相ping通。

在所有主机的/etc/hosts下添加主机名与IP的对应表。如下图所示。

完成以上工作后,就可以开始安装Hadoop系统了。

将Hadoop安装包复制到文件目录下,解压。在该文件目录下打开终端,输入./install,可以进入如下界面。

一路选yes或continue,如果出现hostname resolve error的问题,请先手动配置每台机器上的hosts文件。

如下图所示,在所有服务器的终端中输入gedit /etc/hosts,添加ip地址和主机名,格式如下图。之后就可以重新安装了。

之后安装向导会提示选择选择Hadoop所用的网卡接口,选择All表示绑定所有接口。用户(而不是集群中的服务器)通过这个网络接口访问Hadoop。这里可以选择All。

一路选yes,如果出现以下提示,选yes。

安装Apache Hadoop*英特尔分发版和进行集群管理需要一个Linux系统的软件包资源库。您可以选择在本地主机上创建一个资源库,或使用一个存在的资源库。如果您选择在本地主机上创建,您则需要一个Linux系统的安装DVD光盘或者ISO文件来创建资源库。如果您选择使用一个存在的资源库,须要输入已存在Linux系统资源库的URL。

这里建议通过RMN4加载系统镜像,或者将镜像拷贝至系统中加载。选择create new repository。

如果使用RMN4,选择Use DVD disc,如果使用镜像安装,选择Use ISO file。

这里请放入CentOS-6.3-x86_64-bin-DVD1.iso,选择yes。

系统会自动开始安装。该过程较慢,请耐心等待。

由于不需要第二个镜像中的内容,请在以下画面选择no。

之后系统会提示选择通过哪个网口在其他节点上安装包,选择任意配置好的网口即可。

之后系统就会自动安装。出现以下提示后,安装即完成。

接下来要进入webUI界面进行节点配置。在web浏览器中输入https://’hostname’:9443。其中hostname为主节点的主机名。以这里为例就是https://Hadoop3:9443。用户名和密码默认都为admin。

输入用户名和密码登录后,最终用户许可协议将会出现。请接受许可协议。

接受最终用户许可协议后,将出现欢迎使用Hadoop管理中心的提示窗口。选择“yes”。会出现下图提示。选择除了HighAvailability的所有内容。点击next。

第二步会提示从网络环境中找到所有连接到主节点的节点。点击Add Nodes。

如下图所示,如果Method 选single,就需要逐个添加节点,选Batch可以添加一个网段的所有节点。如图所示,在Start IP和End IP输入需要搜索的IP地址段,并输入root密码。在界面中点击开始查找按钮,进入检测机器界面。

添加搜索到的节点。点击Add。

系统提示会要求安装必要软件。选yes继续。完成后就会显示所有节点状态为connected。

这里不需要改变配置,点击next继续。

进入选择用户权限设置界面。选择Simple User Based Authentication。点击next继续。

之后系统会提示是否安装。选择yes。系统会自动安装接下来的部分。所有任务完成后,点击ok并关闭任务窗口。

此时所有节点的状态变为successful,表示节点安装配置成功。点击next继续。

接下来开始进行集群拓扑配置。进入HDFS组件控制节点的配置界面。首先要配置主节点NameNode,请选择配置最好的一台机器作为NameNode。Secondary NameNode时主节点的备份,现在可以暂时不设置。点击next继续。

进入MapReduce组件控制节点的配置界面。这里必须选择一台服务器作为MapReduce的任务分配器,而在上一步配置HDFS组件控制节点中,您选择的主命名节点将被默认作为任务分配器。点击next继续。

进入Zookeeper组件控制节点配置界面。这里可以选择ZooKeeper节点,建议使用奇数并且数量至少为3。点击绿点添加一列,在显示为红点之后双击红点边上的空白处,选择所要添加的节点名称。

选择结束后点击“下一步”继续,选择HMaster节点,默认与Zookeeper节点一致。

进入Hive组件控制节点配置界面。这里可以选择Hive服务所安装的服务器。选择结束后点击“下一步”继续。

配置完成。点击finish,出现提示选yes。系统会自动进行余下的工作。

至此,集群安装配置已全部完成。

最后,进入界面,将ZooKeeper,HDFS,MapReduce依次打开。系统就开始运作了。

集群配置及优化

常见问题:

文件数达到上限:

先将所有Hadoop服务关闭。在intel manager页面下,在左边栏Configuration下,点击HDFS,在中间偏上的标签栏Full Configuarion,在keyword中输入xcievers找到dfs.DataNode.max.xcievers,将对应value改大。点击save。再点击左边栏configuration下的Nodes中点击Provisioning Service Properties。

超时错误:

在configuration下的MapReduce中,在Full Configuration中将mapred.task.timeout改为600000。

时间: 2024-10-27 00:52:54

Hadoop参考设计组组件及关键步骤:Apache Hadoop英特尔分发版安装(三)的相关文章

Hadoop参考设计组组件及关键步骤(一)

关于Hadoop参考设计组组件及关键步骤的文章内容比较多,所以小编将Hadoop参考设计组组件及关键步骤分成三节内容向大家进行详细的介绍. 软件 操作系统:Hadoop支持任何可以运行Java环境的操作系统.在实际应用中,一般客户多会选择不同Linux发布版的64位版本.在本参考设计中我们选择了免费的企业级Linux CentOS6.3 x64版. Hadoop系统:Hadoop是基于Apache授权协议的开源软件,客户能够在免费的开源版本及商业支持版之间选择.免费的开源版本目前尚存在大量软件B

《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述

2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架,可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理.Apache Hadoop 集群可以使用故障率一般较高的低价通用硬件来构建.Hadoop 的设计能够在没有用户干预的情况下优雅地处理这些故障.此外,Hadoop 采用了让计算贴近数据(move computation to the data)的方法,从而显著降低了网络流量.它的用户能够快速开发并行的应用程序,从而专注于业务逻辑,而无需承担分发数据.分

《Spark与Hadoop大数据分析》——第2章 Apache Hadoop和Apache Spark入门

第2章 Apache Hadoop和Apache Spark入门 在本章,我们将学习 Hadoop 和 Spark 的基本知识,了解 Spark 与 MapReduce 有哪些不同,并开始安装集群和设置分析所需的工具. 本章分为以下几个子主题:

Hadoop参考设计的实现及性能:Hadoop性能初步测试

Name Node/Second Name Node 规格(共两台服务器): DataNode/http://www.aliyun.com/zixun/aggregation/17034.html">TaskTracker 规格: 机柜规格: Hadoop 性能初步测试 基于上述所建立的Hadoop集群,使用标准测试组件进行方案验证,并使用Hadoop性能标杆套件HiBench进行性能测试. nnbench 测试目的:对NameNode的硬件及配置进行负载测试. 参数设置: maps =

Hadoop参考设计的实现及性能:HBase应用性能测试方法

测试工具 YCSB 的安装 YCSB介绍:YCSB(Yahoo! Cloud Serving Benchmark)是Yahoo开源的一款通用的性能测试工具.可以用于测试多种 NoSQL 产品进行测试.相关说明可以参考 https://github.com/brianfrankcooper/YCSB/wiki. YCSB的工作原理如上图所示,主要的模块包括workload和DB Interface: Workload:通过配置文件,定义读写比例,数据的大小等DB Interface:通过接口连接并

Apache Hadoop

Apache Hadoop JERRIN JOSEPH Hadoop Hadoop Distributed File System (HDFS) Hadoop MapReduce Introduction Architecture Operations Conclusion References Apache Hadoop

Windows下Apache+MySQL+PHP运行环境的安装图文方法_win服务器

1.安装Apache a) 双击文件Apach_2.2.8_win32-x86-no_ssl.msi,弹出欢迎界面.单NEXT按钮,进入到License Agreement(许可协议)界面. b) 用户需要同意界面 中的条款才能继续安装.选中I accept the terms in the license agreement 单选按钮后,单击NEXT按钮,如图1所示,进入程序描述与说明界面. 图1 c) 浏览程序的描述和说明后,单击NEXT按钮进入Server Information界面,如图

英特尔:中国成Hadoop发展主力

近日,任职于英特尔数据中心软件部的大数据产品高级顾问黎超先生表示,业内认为Hadoop对整个X86的发展会是一次重大的机会,鉴于英特尔是Apache主要贡献者之一,同时又希望能利用在软硬件方面的投入,能够使得Hadoop更容易走向传统行业,而并非仅仅局限于互联网行业. 另外,在英特尔看来,中国市场也是Hadoop发展的重点所在.因为长久以来,中国市场向来就是英特尔的第一大市场,因此英特尔将其Hadoop核心研发团队就完全设在中国上海,目的就是更好的去服务于我们本地的客户. 显而易见的就是,大家现

英特尔重定义Hadoop核心:优化CPU

据国外媒体报道,近日,英特尔新推出的Intel版Hadoop不但改写了Hadoop框架的核心功能,强化对处理器指令集的支持来提高效能,可直接支持Xeon进阶运算加密指令集AES-NI,并在数据储存到HBase的过程,用芯片原生的加密功能保护,这是英特尔进军Big Data的杀手锏软件 . 继Cloudera与Hortonworks之后,英特尔近日宣布推出Hadoop新版本,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel