Apache Hadoop基本上已经成为MapReduce实现的产业标准,并且被各个机构广泛采用,而">Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是,Amazon通过EMR(Elastic MapReduce)提供Hadoop服务已达数年之久。
用户需要给Savanna提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Savanna将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。
方案针对以下几种用例:
为Dev和QA快速配置Hadoop集群 利用通用OpenStack IaaS云中从未使用过的计算能力 为专用或突发性的分析负载提供“分析即服务”(类似AWS中的EMR)。
主要特性如下:
作为OpenStack组件出现 通过REST API进行管理,用户界面作为OpenStack Dashboard的一部分。 支持多种Hadoop分布: 作为Hadoop安装引擎的可插拔系统。 集
成了提供商特定的管理工具,比如Apache Ambari或者Cloudera Man
agent
Console。 Hadoop配置的预定义模板来,
具备配置参数功能。
Savanna REST API和定制Horizon视频链接: YouTube视频
细节说明
Savanna产品主要于以下几个OpenStack组件进行通信:
Horizon——提供GUI以使用所有Savanna的特性。 Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。 Nova——为Hadoop集群配置虚拟机。 Glance——用于储存Hadoop虚拟机
镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。 Swift——可以作为需要进行Hadoop作业的预存储。
(责任编辑:蒙遗善)