一、机器准备
1、3台主机名:server202 server203 server204
另外server201用来搭建本地yum的repos,不参与集群。
2、配置server202的ssh免密码登录到其他机器(包括自己)
3、3个机器节点的/etc/hosts加入
192.168.2.201 archive.cloudera.com
192.168.2.202 server202
192.168.2.203 server203
192.168.2.204 server204
4、其他一些相关操作:
关闭防火墙
chkconfig iptables off
service iptables stop
通过Cloudera Manager installer安装必须设置/etc/selinux/config中的SELINUX=disabled,你需要重启机器。
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
配置163,sohu源
cd /etc/yum.repos.d/
#Centos5
wget http://mirrors.163.com/.help/CentOS5-Base-163.repo
#wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
#Centos6
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
yum makecache
同步时间
ntpdate -u pool.ntp.org
安装CDH5.2必须安装python26版本,通过yum安装。
python yum -y install python26 python26-devel
有可能会提示zlib的错误,同时python中通过下面编译来重新配置。
yum install zlib
vi Modules/Setup Modules/Setup.dist
搜索zlib,去掉 #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 前面的注释。
./configure
make
make install
二、构建本地repos(server201机器)
下载CDH5.2的tarball安装包,后面的manager通过tarball来安装
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos5.tar.gz
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos6.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos5.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos6.tar.gz
注意如果是centos6的操作系统还需要下载 navigator-keytrustee5目录,通过wget来下载
wget --mirror -p --convert-links -P /disk/cloudera/t http://archive-primary.cloudera.com/navigator-keytrustee5/
这里是通过server201中nginx代理本地repos,并将archive.cloudera.com指定到192.168.2.201,这样你就不用修改yum的repos的网址。要不你得手动指定自己的repos地址。
nginx的默认配置没打开显示目录下的全部文件,你可以通过下面的配置在nginx.conf中启用。
autoindex on;#自动显示目录
autoindex_exact_size off;#人性化方式显示文件大小否则以byte显示
autoindex_localtime on;#按服务器时间显示,否则以gmt时间显示
搭建本地repos的相关配置命令
#centos5
mkdir -p /disk/cloudera/cdh5/redhat/5/x86_64
cd /disk/cloudera/cdh5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos5.tar.gz
mkdir -p /disk/cloudera/cm5/redhat/5/x86_64
cd /disk/cloudera/cm5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos5.tar.gz
#centos6
mkdir -p /disk/cloudera/cdh5/redhat/6/x86_64
cd /disk/cloudera/cdh5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/cm5/redhat/6/x86_64
cd /disk/cloudera/cm5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/redhat/cdh/
cd /disk/cloudera/redhat/cdh
cp /disk/cloudera/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera .
配置成功后,确保http://archive.cloudera.com能够访问到你的本地的repos。
三、cloudera manager 安装
1、下载cloudera-manager-installer.bin : http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2、执行cloudera-manager-installer.bin,安装上面的步骤来安装即可。一般指需要几分钟时间。因为走得是本地repos源。注意要关闭SELINUX=disabled。安装的错误相关日志在/var/log/cloudera-manager-installer/这边可以查看。
3、安装后访问 http://server202:7180 来访问,默认账号密码:admin admin
四、通过cloudera manager安装集群
按照界面的导航流程操作即可。
1、选择 Cloudera Express 版本。
2、列出可安装的包及服务
3、指定CDH主机:
server202
server203
server204
4、选择存储库。选择方法:使用数据包。 CDH版本选择5.2。其他不要去修改。
5、选址安装oracle JDK 安装默认配置即可。
6、设置ssh登录的key,上传的是server202的私钥。
7、进入安装的流程。可以详细看到每个节点的安装情况。错误日志等,可以回滚重新安装。一般只要十几分钟。如果有错误,按照错误提示的内容修复即可。我碰到的错误就是python26依赖问题。
8、安装成功后,会自动对集群的机器的一些服务环境检查,根据检查结果自己来修复。一般都会检查通过。
9、选择需要安装的服务,这里你最大话安装,选择全部。
10、配置集群的角色。一般按照默认即可。注意,有些角色没有默认配置主机,你需要自己配置需要安装的主机位置。数据库,配置文件都按照默认即可。首次配置也需要十几分钟时间。
11、一切正常后,就进入管理面板,可以看到安装的服务。