通过Cloudera Manager安装CDH

1 方法一

你可以从https://ccp.cloudera.com/display/SUPPORT/Downloads下载cloudera-manager-installer.bin,然后修改执行权限并执行该脚本。

该脚本中配置的rhel6的yum源为:http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/,下载的过程必须连网并且rpm的过程会非常慢,这种方法对虚拟机或者是无法连网的内网机器来说根本无法使用。

因为知道所有的rpm都在上面网址可以下载到,故你可以手动下载这些rpm然后手动安装,详细过程请参考:通过cloudera-manager来安装hadoop

2 方法二

这里还有一种方法,就是手动下载Cloudera Manager的yum tar包,在虚拟机中搭建一个本地yum源,然后修改hosts文件,使archive.cloudera.com域名映射到本地ip。

3 方法三

出于好奇,想破解cloudera-manager-installer.bin,然后看看其中做了哪些操作。通过以下脚本即可解压该文件:

$ mv cloudera-manager-installer.bin cloudera-manager-installer.zip
$ unzip cloudera-manager-installer.zip

解压之后的目录如下:

$ ll
总用量 512
-rwxrwxr-x. 1 june june 501698 5月  25 09:53 cloudera-manager-installer.zip
drwxr-xr-x. 2 june june   4096 5月  23 03:05 data
drwxr-xr-x. 2 june june   4096 5月  22 21:48 guis
drwxr-xr-x. 2 june june   4096 5月  22 21:48 meta
drwxr-xr-x. 2 june june   4096 5月  22 21:48 scripts

查看解压之后的文件可以看到安装脚本是用lua编写并用MojoSetup编译的,从scripts/config.lua脚本中大概可以看出安装脚本的执行过程。

整理下该脚本逻辑,主要是做了以下操作:

$ yum install -y jdk.x86_64
$ yum install -y cloudera-manager-server
$ yum install -y cloudera-manager-server-db
$ /etc/init.d/cloudera-scm-server start
$ /etc/init.d/cloudera-scm-server-db start

知道了上面这点之后,就可以在本地的cloudera-manager yum中,执行以上操作完成cloudera-manager的安装,安装成功之后查看7180端口是否打开:

$ netstat -na| grep 7180

通过浏览器访问http://IP:7180登录cloudera manager界面:用户名/密码:admin/admin,按照界面提示完成hadoop集群安装。

卸载

执行以下命令,可以卸载并删除相应的文件和目录:

yum remove -y hadoop hbase hive zookeeper hue oozie sqoop flume
yum remove cloudera*

rm -rf /usr/lib/{hadoop,hbase,oozie}
rm -rf /etc/{hadoop,hadoop-httpfs,hbase,hive,zookeeper}
rm -rf /etc/{hadoop,hadoop-httpfs,hbase,hive,zookeeper,sqoop,oozie,flume}
rm -rf /etc/cloudera-scm-agent/
rm -rf /tmp/hadoop-hive/ /usr/share/hue/  /var/log/hive/
rm -rf /var/log/hadoop-*
rm -rf /var/log/hbase/
rm -rf /var/log/zookeeper/
rm -rf /var/log/cloudera-scm-*
rm -rf /var/log/flume-ng/
rm -rf /var/log/hue
rm -rf /usr/share/doc/oozie*
rm -rf /etc/hue/ /etc/rc.d/init.d/hue

5 排错

在执行下面一个命令时候可能会出现如下异常

$ /etc/init.d/cloudera-scm-server-db start

异常信息如下:

[root@cdh1 cloudera-scm-server-db]# /etc/init.d/cloudera-scm-server-db start
属于此数据库系统的文件宿主为用户 "cloudera-scm".
此用户也必须为服务器进程的宿主.
数据库簇将带有 locale en_US.UTF8 初始化.
缺省的文本搜索配置将会被设置到"english"

修复已存在目录 /var/lib/cloudera-scm-server-db/data 的权限 ... initdb: 无法改变目录 "/var/lib/cloudera-scm-server-db/data" 的权限: 权限不够
Could not initialize database server.
  This usually means that your PostgreSQL installation failed or isn't working properly.
  PostgreSQL is installed using the set of repositories found on this machine. Please
  ensure that PostgreSQL can be installed. Please also uninstall any other instances of
  PostgreSQL and then try again., giving up

这时候,请执行如下命令:

$ su -s /bin/bash cloudera-scm -c "touch /var/log/cloudera-scm-server/db.log; /usr/share/cmf/bin/initialize_embedded_db.sh /var/lib/cloudera-scm-server-db/data /var/log/cloudera-scm-server/db.log"
$ su -s /bin/bash cloudera-scm -c "pg_ctl start -w -D /var/lib/cloudera-scm-server-db/data -l /var/log/cloudera-scm-server/db.log"
时间: 2024-09-30 04:53:59

通过Cloudera Manager安装CDH的相关文章

不用Cloudera Manager安装Cloudera Search

Cloudera Search 用来在 hadoop 基础上建立索引和全文检索,本文主要记录如何安装 CLoudera Search 的过程,其中也包括如何安装和启动 Zookeeper.Solr.MapReduce等工具和服务. Cloudera Search介绍 Cloudera Search 核心部件包括 Hadoop 和 Solr,后者建立在 Lucene 之上:而 Hadoop 也正是在06年正式成为 Lucene 的一个子项目而发展起来的. 通过 Tika, Cloudera Sea

Cloudera Manager 安装 CDH5.x 心得

Cloudera Manager 安装 CDH5.x 心得 废话不多说,先展示下这几天捣鼓的成果 Cloudera Manager 管理配置界面 Hbase 管理界面及Hbase Web UI [站外图片上传中...(image-1c6abb-1513138023093)] HDFS 管理界面 及 NameNode Web UI [站外图片上传中...(image-82c66f-1513138023093)] Hive 管理界面 及 HiveServer2 Web UI Hue 管理界面 及 W

cloudera manager安装失败之后每次登录都停留在失败的页面??

问题描述 通过clouderamanager添加新的机器,原来有20台机器现在要新增加1台.如何增加.每次登录之后都停留在这个界面,如何解决这个问题.

centos中CDH5.2 Cloudera Manager installer安装配置详解

一.机器准备 1.3台主机名:server202 server203 server204 另外server201用来搭建本地yum的repos,不参与集群. 2.配置server202的ssh免密码登录到其他机器(包括自己) 3.3个机器节点的/etc/hosts加入 192.168.2.201 archive.cloudera.com 192.168.2.202 server202 192.168.2.203 server203 192.168.2.204 server204 4.其他一些相关

linux中Cloudera Manager 5和CDH5离线安装

一.相关软件准备及规划 1.相关软件及下载地址: Cloudera Manager:http://archive-primary.cloudera.com/cm5/cm/5/ CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/ JAVA官方下载(需登陆):http://www.oracle.com/technetwork/java/archive-139210.html JAVA各版本归档下载(无需登陆):https://www.r

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.7 Cloudera Manager

2.7 Cloudera Manager 读到这里的时候,读者可能觉得安装Hadoop是一件比较麻烦的事情,特别是在需要安装的组件特别多.安装的主机特别多的情况下(例如几百台),这种安装方式就不太可取了.在CDH中,有一个特殊的组件Cloudera Manager,它正是考虑到用户的这种需求.它的主要功能有3个:集群自动化安装部署.集群监控和集群运维. 在CDH4时,Cloudera Manager还有集群规模限制,而在CDH5中,则去除了这个限制.这样中小企业在使用Cloudera Manag

cloudera manager管理已有cdh集群

问题描述 cloudera manager管理已有cdh集群 有cdh集群,hdfs有庞大数据,现在想用cloudera manager来管理该cdh集群,请问有什么方法在cloudera manager添加已有hdfs服务的,有过这方面经验的大神分享一下经验- 解决方案 可以在内网自建一个安装源服务器,然后修改安装源,把它指内网的服务器完成安装. 网上有很多教程教你如何离纯安装hadoop 解决方案二: 直接添加已有的hdfs,可以搭建集群后,修改hdfs的namenode和datanode配

采用Cloudera-Manager安装CDH时,采用内嵌数据库各数据库用户密码的保存位置

一.场景描述     在采用Cloudera-Manager安装cdh时,通常使用内嵌的PostgreSQL数据库.     Cloudera-Manager除了保存CDH集群的配置元数据的scm数据库外,还为Activity Monitor(活动监控).Service Monitor(服务监控).Report Manager(报告管理).Host Monitor(主机监控).Cloudera Navigator(Cloudera导航)等信息分别创建数据amon.smon.rmon.hmon.n

Cloudera Manager简介

Hadoop家族 整个Hadoop家族由以下几个子项目组成: Hadoop Common: Hadoop体系最底层的一个模块,为Hadoop各子项目提供各 种工具,如:配置文件和日志操作等. HDFS: 是Hadoop应用程序中主要的分布式储存系统, HDFS集群包含了一个NameNode(主节点),这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNode(数据节点,可以有很多).HDFS针对海量数据所设计,所以相比传统文件系统在大批量小文件上的优化,HDFS优化的则是对小批量大型