Sahara将加速OpenStack与Hadoop的融合

OpenStack Sahara(旧称:Savanna)项目的负责人Sergey Lukjanov昨天正式宣布,Sahara从OpenStack孵化项目顺利毕业,将从OpenStack下一版本Juno开始作为OpenStack核心项目之一。Sahara是在2013年由领先的Apache Hadoop贡献方Hortonworks公司,最大的OpenStack 系统集成商Mirantis公司,以及全球领先的开源解决方案及最新版OpenStack的最大贡献方红帽公司联合发起的,致力于共同在 OpenStack上实现Apache Hadoop,使OpenStack用户能够轻松供应和管理弹性Hadoop集群,加快Hadoop在OpenStack上的开发和部署进程。

Apache Hadoop是MapReduce技术的一种实现,目前被各行业广泛采用,已成为大数据处理的行业标准。Sahara项目旨在为OpenStack用户提供一种简单、快捷地部署以及管理Hadoop集群的方案,类似于亚马逊Elastic MapReduce (EMR) 服务。

Sahara项目的架构图如下:

  • Horizon——提供GUI以使用所有Sahara的特性。
  • Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。
  • Nova——为Hadoop集群配置虚拟机。
  • Glance——用于储存Hadoop虚拟机镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。
  • Swift——可以作为需要进行Hadoop作业的预存储。

用户需要给Sahara提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Sahara将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

云计算提供基础架构平台,大数据应用在这个平台上运行,这是目前公认非常高效的处理大数据的方法之一。使用Sahara方案可有效满足如下使用场景:

1. 在OpenStack云环境中快速部署Hadoop集群;

2. 更充分地利用通用OpenStack IaaS云环境中未被利用的计算资源;

3. 与亚马逊EMR类似,为临时的或突发的数据分析任务,提供数据分析即服务(Analytics as a Service)

OpenStack和Hadoop的融合,既最大限度提高了服务器的资源利用率,又大大降低了大数据处理的准入门槛。可以预见,作为云计算和大数据的桥梁之一,Sahara将会推动OpenStack云平台和Hadoop的整合,逐步进入大数据处理市场,更快速地借助云计算平台和大数据处理技术把数据转换为商业价值。

原文发布时间为:2014年04月01日

本文作者:王后明

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-07-31 18:25:48

Sahara将加速OpenStack与Hadoop的融合的相关文章

Sahara顺利毕业,将加速OpenStack与Hadoop的融合

OpenStack Sahara(旧称:Savanna)项目的负责人Sergey Lukjanov昨天正式宣布,Sahara从OpenStack孵化项目顺利毕业,将从OpenStack下一版本Juno开始作为OpenStack核心项目之一.Sahara是在2013年由领先的Apache Hadoop贡献方Hortonworks公司,最大的OpenStack 系统集成商Mirantis公司,以及全球领先的开源解决方案及最新版OpenStack的最大贡献方红帽公司联合发起的,致力于共同在 OpenS

求openstack、hadoop和磁盘阵列共存的解决方案

问题描述 目前项目环境搭建需要openstack和hadoop环境,openstack负责分配不同虚拟镜像,hadoop主要负责数据存储和将来mapreduce的计算.网络环境有32台服务器,一个磁盘阵列,要求提供高速文件访问和在不同虚拟机环境下的并行计算.请有经验的行家给个合理的解决方案.自己的一些想法:1.看到Savannaproject的基本思路是把hadoop架设在openstack上,应该是利用openstack灵活分配虚拟镜像的能力,定制NameNode.DataNode等节点镜像,

基于OpenStack体系的多融合管道式服务云监控系统的研制

基于OpenStack体系的多融合管道式服务云监控系统的研制 李磊  金连文  黎德生 唐万万 为了保证在云计算大集群规模下服务的稳定性和可靠性,针对目前云监控的需求,阐述了基于OpenStack工程体系结构研制的云监控系统,并详细论述了系统结构和关键技术点,包括所采用的工厂模式.Paste Deploy.管道.Eventlet协同程.面向对象的数据库SQL Alchemy等编程模式,使得系统具备了模块化.层次化.流水线化等结构特点,具备多模式融合.部署简易.高扩展性和二次开发简易等优势.测试结

红帽发布OpenStack 10平台 旨在加速OpenStack云计算的普及

红帽(Red Hat)日前发布了双支持模式OpenStack10平台,旨在加速云计算的普及. 红帽一直致力于简化开源云的安装和运行开源云,来减少普通用户可能遇到的麻烦,红帽OpenStack10平台产品也同样在这方面上做出努力. 而且,由于红帽的合作和支持,OpenStack 10平台在构建上也作出了转变,以期能在与装有OpenStack的对手Linux发行版的竞争中保持优势. 记者了解到,OpenStack 10平台引入了两个支持选项(一年和三年选项),后者可以延长到五年. 红帽前一个选项的目

hadoop和OpenStack有什么区别,请帮我扫扫盲?

问题描述 hadoop和OpenStack有什么区别,请帮我扫扫盲? 解决方案 解决方案二:OpenStack是云计算平台.说白了就是能够在上面创建虚拟机,管理虚拟机(美其名曰:计算资源虚拟化),管理存储资源(美其名曰:存储资源虚拟化).OpenStack的存储管理包括两个工具:一个是分布式文件系统,一个是为虚拟机创建磁盘的工具.OpenStack可以和hadoop比较的就是分布式文件系统.hadoop是为了实现大数据量存储.OpenStack的存储工具(名字叫swift)是对象存储.我知道的就

中国电信联合多方加速推进OpenStack技术产业化 —— OSCAR即将发布“OpenStack技术应用场景”技术规范

2016年12月2日,云计算开源产业联盟(OSCAR)将在北京民族饭店召开2016年年会,披露多项重量级工作成果.备受关注的由中国电信牵头编写的"OpenStack技术应用场景"技术规范初稿将正式发布.该技术规范在中国通信标准化协会立项为研究课题,是团体标准的典范. 当前,随着越来越多OpenStack应用落地,厂商如何推出更满足市场实际需要的OpenStack产品,用户如何快速部署OpenStack应用,成为业界关注的焦点."OpenStack技术应用场景"技术规

OpenStack建设企业私有云要解决五大问题

OpenStack已经成为一种趋势,但发行版OpenStack尚不完美,企业要建成私有云必须预先充分了解发行版OpenStack的缺点,并寻求专业OpenStack提供商的帮助与合作,才能扬长避短,真正发挥OpenStack的优势,建成最大化企业竞争优势的私有云. OpenStack在企业里如何用好?还有哪些问题需要着重解决?OpenStack在企业里怎么才能用好?开发人员认为是使用姿势的问题;用户认为要稳定可靠,不能老宕机;老板认为多招几个牛X的开发和运维就可以搞定. 其实OpenStack在

OpenStack 建设企业私有云要解决五大问题

OpenStack已经成为一种趋势,但发行版OpenStack尚不完美,企业要建成私有云必须预先充分了解发行版OpenStack的缺点,并寻求专业OpenStack提供商的帮助与合作,才能扬长避短,真正发挥OpenStack的优势,建成最大化企业竞争优势的私有云. OpenStack在企业里如何用好?还有哪些问题需要着重解决?OpenStack在企业里怎么才能用好?开发人员认为是使用姿势的问题;用户认为要稳定可靠,不能老宕机;老板认为多招几个牛X的开发和运维就可以搞定. 其实OpenStack在

EasyStack助力OpenStack实现大规模部署

[51CTO.com原创稿件]OpenStack作为当下事实上的开源云标准,已成功被多个行业领域的用户大规模部署.很多人都知道,OpenStack诞生的初衷就是为了优化云环境,包括公有云.私有云.混合云的所有玩家都希望能同OpenStack建立某种形式的关联,这也让OpenStack开源社区获得大量追随者,建立了完整的企业生态. 在中国,电信.金融.政府.能源.交通.制造.医疗.教育等各大行业的领军公司都已经拥抱OpenStack开源云平台.这说明,从前存在的部署难度高.未能满足行业用户定制化需