centos中CDH5.2 Cloudera Manager installer安装配置详解

一、机器准备

1、3台主机名:server202 server203 server204

另外server201用来搭建本地yum的repos,不参与集群。

2、配置server202的ssh免密码登录到其他机器(包括自己)

3、3个机器节点的/etc/hosts加入

192.168.2.201 archive.cloudera.com

192.168.2.202 server202

192.168.2.203 server203

192.168.2.204 server204

4、其他一些相关操作:

关闭防火墙

chkconfig iptables off

service iptables stop

通过Cloudera Manager installer安装必须设置/etc/selinux/config中的SELINUX=disabled,你需要重启机器。

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

配置163,sohu源

cd /etc/yum.repos.d/

#Centos5

wget http://mirrors.163.com/.help/CentOS5-Base-163.repo

#wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo

#Centos6

wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

yum makecache

同步时间

ntpdate -u pool.ntp.org

安装CDH5.2必须安装python26版本,通过yum安装。

python yum -y install python26 python26-devel

有可能会提示zlib的错误,同时python中通过下面编译来重新配置。

yum install zlib

vi Modules/Setup Modules/Setup.dist
搜索zlib,去掉 #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 前面的注释。
./configure
make

make install

二、构建本地repos(server201机器)

下载CDH5.2的tarball安装包,后面的manager通过tarball来安装
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos5.tar.gz
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos6.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos5.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos6.tar.gz
注意如果是centos6的操作系统还需要下载 navigator-keytrustee5目录,通过wget来下载

wget --mirror -p --convert-links -P /disk/cloudera/t http://archive-primary.cloudera.com/navigator-keytrustee5/
这里是通过server201中nginx代理本地repos,并将archive.cloudera.com指定到192.168.2.201,这样你就不用修改yum的repos的网址。要不你得手动指定自己的repos地址。
nginx的默认配置没打开显示目录下的全部文件,你可以通过下面的配置在nginx.conf中启用。
autoindex on;#自动显示目录
autoindex_exact_size off;#人性化方式显示文件大小否则以byte显示
autoindex_localtime on;#按服务器时间显示,否则以gmt时间显示
搭建本地repos的相关配置命令
#centos5
mkdir -p /disk/cloudera/cdh5/redhat/5/x86_64
cd /disk/cloudera/cdh5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos5.tar.gz
mkdir -p /disk/cloudera/cm5/redhat/5/x86_64
cd /disk/cloudera/cm5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos5.tar.gz
#centos6
mkdir -p /disk/cloudera/cdh5/redhat/6/x86_64
cd /disk/cloudera/cdh5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/cm5/redhat/6/x86_64
cd /disk/cloudera/cm5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/redhat/cdh/
cd /disk/cloudera/redhat/cdh
cp /disk/cloudera/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera .
配置成功后,确保http://archive.cloudera.com能够访问到你的本地的repos。

三、cloudera manager 安装

1、下载cloudera-manager-installer.bin : http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2、执行cloudera-manager-installer.bin,安装上面的步骤来安装即可。一般指需要几分钟时间。因为走得是本地repos源。注意要关闭SELINUX=disabled。安装的错误相关日志在/var/log/cloudera-manager-installer/这边可以查看。

3、安装后访问 http://server202:7180 来访问,默认账号密码:admin admin

四、通过cloudera manager安装集群

按照界面的导航流程操作即可。

1、选择 Cloudera Express 版本。

2、列出可安装的包及服务

3、指定CDH主机:

server202

server203

server204

4、选择存储库。选择方法:使用数据包。 CDH版本选择5.2。其他不要去修改。

5、选址安装oracle JDK 安装默认配置即可。

6、设置ssh登录的key,上传的是server202的私钥。

7、进入安装的流程。可以详细看到每个节点的安装情况。错误日志等,可以回滚重新安装。一般只要十几分钟。如果有错误,按照错误提示的内容修复即可。我碰到的错误就是python26依赖问题。

8、安装成功后,会自动对集群的机器的一些服务环境检查,根据检查结果自己来修复。一般都会检查通过。

9、选择需要安装的服务,这里你最大话安装,选择全部。

10、配置集群的角色。一般按照默认即可。注意,有些角色没有默认配置主机,你需要自己配置需要安装的主机位置。数据库,配置文件都按照默认即可。首次配置也需要十几分钟时间。

11、一切正常后,就进入管理面板,可以看到安装的服务。

时间: 2024-10-22 17:06:32

centos中CDH5.2 Cloudera Manager installer安装配置详解的相关文章

Redis 对比 Memcached 并在 CentOS 下进行安装配置详解_Redis

Redis 是一个开源.支持网络.基于内存.键值对的 Key-Value 数据库,本篇文章主要介绍了Redis 对比 Memcached 并在 CentOS 下进行安装配置详解,有兴趣的可以了解一下. 了解一下 Redis Redis 是一个开源.支持网络.基于内存.键值对的 Key-Value 数据库,使用 ANSI C 编写,并提供多种语言的 API ,它几乎没有上手难度,只需要几分钟我们就能完成安装工作,并让它开始与应用程序顺畅协作.换句话来说,只需投入一小部分时间与精力,大家就能获得立竿

CentOS中禁止用户ssh和sftp登陆的详解

  CentOS中禁止用户ssh和sftp登陆的详解          在linux中出于安全的需要,我们会禁止某些用户SSH登陆系统进行操作.我这里以centos操作系统为例记录下如何进行处理. 1.打开sshd的配置文件 ? 1 vi/etc/ssh/sshd_config 2.修改该配置文件,增加或修改如下行 ? 1 2 3 4 # 禁止用户user1登陆,多个空格分隔 DenyUsers user1 # 禁止用户组group1的所有用户登录,多个空格分隔 DenyGroups group

深入分析redis cluster 集群安装配置详解

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.redis3.0以前,只支持主从同步的,如果主的挂了,写入就成问题了.3.0出来后就可以很好帮我们解决这个问题. 目前redis 3.0还不稳定,如果要用在生产环境中,要慎重. 一,redis服务器说明 192.168.10.219 6379  192.168.10.219 6380  192.168.10.219 6381    192.168.10.220 6382  192.168.10.220 6383  192.168

Winodws2003中IIS6配置PHP环境FastCGI的安装配置详解

我们知道php配置有几种: 1.CGI方式加载PHP环境,通常就是IIS里面配置解释器为php.exe,早期比较常见,目前使用较少. 特点是:稳定,但效率太低. 2.ISAPI方式加载PHP环境,通常就是IIS里面配置解释器为php5isapi.dll,目前使用最多,应用最广. 特点是:多线程,效率较高,但不够稳定. 3.FastCGI方式加载PHP环境,在IIS环境里并不常见,但其它系统环境应用还是有的,不过IIS7.0开始内置FastCGI了. 特点是:高效率,高稳定性,属于将来发展趋势.

Hive on Spark安装配置详解

可进入我的博客查看原文. 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比Ma

mysql安装配置详解教程(一)_Mysql

MySQL数据库具有跨平台性,不仅可以在Windows上运行,还可以在UNIX,Linux和Mac OS等操作系统上运行  1.先简单说下MySQL的版本: 根据操作系统的类型可分为:Windows版.UNIX版.Linux版和Mac OS版 根据用户群体的不同可分为:社区版(Community Edition)和企业版(Enterprise),社区版完全免费,企业版是收费的 根据发布顺序来区分可分为:4.1.5.0.5.1.5.4.6.0等版本 根据MySQL的开发情况分为:Alpha.Bet

Git 教程之安装配置详解_相关技巧

Git 安装配置 在使用Git前我们需要先安装 Git.Git 目前支持 Linux/Unix.Solaris.Mac和 Windows 平台上运行. Git 各平台安装包下载地址为:http://git-scm.com/downloads Linux 平台上安装 Git 的工作需要调用 curl,zlib,openssl,expat,libiconv 等库的代码,所以需要先安装这些依赖工具. 在有 yum 的系统上(比如 Fedora)或者有 apt-get 的系统上(比如 Debian 体系

Linux系统Memcache安装配置详解

安装Memcached服务端 memcached依赖于libevent,需要先安装libevent. 安装 libevent # tar zxvf libevent-2.0.21-stable.tar.gz # cd libevent-2.0.21-stable # ./configure --prefix=/usr/local/libevent # make && make install 安装memcached服务端 # wget http://www.memcached.org/fi

Linux NTP历史、参数解释、安装配置详解

1.如何查看ntp是否配置成功? 2.如何了解ntp列出的参数的含义? 3.restrict关键字的作用是什么?   贴出关键信息: # watch ntpq -p Every 2.0s: ntpq -p                                  Sat Jul  7 00:41:45 2007      remote           refid      st t when poll reach   delay   offset  jitter ==========