通过ambari安装hadoop集群(一)

之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk。hdp和开源版差不多,也是经过了优化了的,也是开源的,有一个管理界面,比社区版要好,这个安装过程废了很大的劲儿才搞成功的,发出来跟大家分享一下。

hdp的安装折腾了好久,它的下载地址网址不像CDH那么难找,不过它的设置相对CDH简单很多,一键式安装,而且都是免费的软件。

1.首先要下载它们的安装包,别尝试着在yum来下,特别慢,最好的方式是通过建立本地资源的方式来安装。

http://public-repo-1.hortonworks.com/HDP/centos6/HDP-1.3.0.0-centos6-rpm.tar.gz

http://s3.amazonaws.com/public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.16/repos/centos6/HDP-UTILS-1.1.0.16-centos6.tar.gz

http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.2.5.17-centos6.tar.gz

2.建立本地资源库 在var/www/html下建立一个hdp目录,如果没有的请先安装httpd yum install httpd,把下到的三个文件解压完毕之后,复制到hdp目录下,然后重启httpd服务,用下面三个repo文件里面的baseurl地址来测试一下是否可以通过网址访问了,然后准备三个文件,hdp.repo,ambari.repo,hdp-util.repo 不要按照官方说的那个做,那个是会报错的,我把我的放出来,大家自己照着弄,修改一下地址就行,然后把这三个文件复制集群中的所有机器的/etc/yum.repos.d/目录下

下面我发一下他们的内容

hdp.repo

[HDP-1.3.0.0]
name=Hortonworks Data Platform Version - HDP-1.3.0.0
baseurl=http://192.168.1.133/hdp/HDP/centos6/1.x/GA/1.3.0.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

ambari.repo

[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[ambari-1.2.5.17]
name=ambari-1.2.5.17
baseurl=http://192.168.1.133/hdp/ambari/centos6/1.x/updates/1.2.5.17
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp-util.repo

[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.16
baseurl= http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=1
enabled=1
priority=1

3.安装之前的准备工作

(1)设置ssh自动登陆,这个参照我写的另外一篇ssh自动登陆的那个去做就行,网址是http://www.cnblogs.com/cenyuhai/p/3280668.html

(2)设置ntpd自动启动,所有机器

chkconfig --level 5 ntpd on
service ntpd start 

(3)禁用selinux,所有机器  

vi /etc/sysconfig/selinux 设置selinux=disabled  

(4)设置时间同步,所有机器

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  #设置时区为北京时间,这里为上海,因为centos里面只有上海。。。
ntpdate us.pool.ntp.org  #时间同步

没有安装ntpdate的可以yum一下yum install -y ntpdate   

加入定时计划任务,每隔10分钟同步一下时钟   

crontab -e

把下面的内容粘贴进去保存即可

0-59/10 * * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP

(5)修改/etc/hosts文件,所有机器,设置如下:

192.168.1.133 hadoop.Master
192.168.1.134 hadoop.SlaveT1
192.168.1.135 hadoop.SlaveT2

4.修改配置文件,所有机器

yum install yum-plugin-priorities
vi /etc/yum/pluginconf.d/priorities.conf
#设置为以下内容
[main]
enabled=1
gpgcheck=0

5.安装自定义的mysql服务

yum install -y mysql-server

安装完成之后用root账户登陆,执行下列命令

create database hive ;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

如果mysql也装在集群中的某个机器上面,而且该服务也装在这个台机器上面。。比如我的hadoop.SlaveT1上面挂了hive服务,mysql也在它上面就会连接不上,还需要运行以下命令。

grant all on hive.* TO 'hive'@'hadoop.SlaveT1' IDENTIFIED BY 'hive';

6.安装ambari服务

yum install -y epel-release
yum install ambari-server

//自己下载jdk-6u31-linux-x64.bin,放在/var/lib/ambari-server/resources下面 ,就免得它自己下了,速度老慢了。。

ambari-server setup

我的ambari数据库账号密码全是ambari

安装完毕之后启动ambari服务 ambari-server start

登陆ambari,账号密码都是admin http://localhost:8080 然后开始安装,安装过程当中一定要注意jdk的目录是/usr/jdk64/1.6.0_31,安装的时候它默认给出来的jdk的不对,装到最后集群也用不了。。

未完待续!

时间: 2024-08-10 15:01:53

通过ambari安装hadoop集群(一)的相关文章

通过ambari安装hadoop集群(二)

开始安装,输入主机名字,然后选择私钥. 注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31,然后点击确认,它会出一个警告提示,别管他就行. 等待安装完毕之后,就会出现成功的提示,下面出现黄字的,查看一下warning,除了有mysql账户的问题之外,别的都要处理掉,否则安装过程会出问题的.搞定了,要再检查一遍! 关闭它,然后进入下一步. 全选吧,都要,然后进入下一步,哈哈! 因为是小集群,所以我就随便弄了,实际上不能这么搞的,然后点下一步. 在HDFS这一页的高级设置

手动安装Hadoop集群的过程

最近又安装 Hadoop 集群,由于一些原因,没有使用 Hadoop 管理工具或者自动化安装脚本来安装集群,而是手动一步步的来安装,本篇文章主要是记录我手动安装 Hadoop 集群的过程,给大家做个参考. 这里所说的手动安装,是指一步步的通过脚本来安装集群,并不是使用一键安装脚本或者一些管理界面来安装. 开始之前,还是说明一下环境: 操作系统:CentOs6.4 CDH版本:4.7.0 节点数:4个 在开始之前,你可以看看我以前写的一篇文章 使用yum安装CDH Hadoop集群,因为有些细节已

CentOS 6.6 安装 Hadoop 集群记录(准备阶段)

本次安装选用的是Cloudera Hadoop CDH 5.2.3版本,Cent OS 6.6 的系统,安装流程为非常的不专业.仅供记录,勿参考. 一.安装前准备 1.更新系统 yum update 2.安装JDK A.下载并安装RPM包 cd /usr/local/src wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense

使用yum源安装CDH Hadoop集群

本文主要是记录使用yum安装CDH Hadoop集群的过程,包括HDFS.Yarn.Hive和HBase.本文使用CDH5.4版本进行安装,故下文中的过程都是针对CDH5.4版本的. 0. 环境说明 系统环境: 操作系统:CentOs 6.6 Hadoop版本:CDH5.4 JDK版本:1.7.0_71 运行用户:root 集群各节点角色规划为: 192.168.56.121 cdh1 NameNode.ResourceManager.HBase.Hive metastore.Impala Ca

【Hadoop】 分布式Hadoop集群安装配置

第一次安装hadoop 集群,记录其安装过程! 1 前期准备,配置所有的机器的/etc/hosts 文件 # cat /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1       rac localhost ::1             rac3 localhost 10.250.7.225  

Hadoop集群搭建

目的 本文描述了如何安装.配置和管理有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群. 如果你希望在单机上安装Hadoop玩玩,从这里能找到相关细节. 先决条件确保在你集群中的每个节点上都安装了所有必需软件. 获取Hadoop软件包. 安装 安装Hadoop集群通常要将安装软件解压到集群内的所有机器上. 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta

hadoop集群-ambari 是否能够监控已经安装部署的Hadoop集群。

问题描述 ambari 是否能够监控已经安装部署的Hadoop集群. 我现在有几台机器再跑Hadoop .现在想要ambari来监控这个集群,但是不知道为什么只能重新安装所有集群.求各路有经验的人提供解决办法,如解决,提供相应数量的Q币为谢!

Ubuntu12.04 Server下安装部署Cloudera Hadoop集群

部署环境 OS: Ubuntu12.04 Server Hadoop:CDH3U6 机器列表:namenode 192.168.71.46:datanode 192.168.71.202,192.168.71.203,192.168.71.204 安装Hadoop 添加软件源 /etc/apt/sources.list.d/cloudera-3u6.list 插入 deb  http://192.168.52.100/hadoop maverick-cdh3 contrib deb-src  h

分布式集群-ambari到底能不能管理监控已存在的hadoop集群?

问题描述 ambari到底能不能管理监控已存在的hadoop集群? 在安装ambari之前,hadoop集群已经跑了一段时间,现在又想直接安装ambari对其进行管理监控,尝试了几次都没成功,求用过的大神指导一下. 解决方案 可以管理监控已存在的hadoop集群 解决方案二: 我也想知道,同问啊啊啊啊 解决方案三: 请问楼上,是怎么解决的呢?现在我也遇到了这个问题 解决方案四: 这个问题可以解决吗?我有一个现有的hadoop系统,能不能用Ambari接管过来,不需要重新安装Hadoop 解决方案