VMworld 2012:Hadoop离虚拟化还有多远?

VMware试图让Hadoop运行在虚拟环境中来应对大数据的挑战,但这不仅面临技术上的难题,来自竞争对手的狙击也不容忽视

【IT专家网 虚拟化频道】如果软件应用能够超越一切基础架构的差异性,企业IT将会少掉多少烦恼?本周举行的VMworld 2012大会上,VMWare重申了该公司的重大图谋:将所有物理资源虚拟化,实现全面池化以快速调配和部署,即软件定义型数据中心(SDDC)。在应用层,这家虚拟化巨头正在努力将Hadoop搬进虚机之中,以应对“大数据”。

大数据是时下业界热议的话题,走向宏图的路上,VMware自然无法对其视而不见,但要实现Hadoop的虚拟化,VMware能否一帆风顺呢?

  情定Hadoop,情有可原

站在大数据时代的边上,Apache Hadoop由于其低成本、可扩展性等优势,成为IT厂商们的大数据处理策略的事实标准。因此,VMware对Hadoop青眼有加,也是意料之中的事,何况VMware的母公司EMC早已推出过Hadoop发行版,且EMC大数据分析平台GreenPlum也是实现了Hadoop处理。

VMware首席技术官 Steve Herrod博士

VMworld 2012上,VMware首席技术官 Steve Herrod博士在演讲中表示,Vmware的开源项目Serengeti,将支持企业能够在虚拟和云环境中快速部署、管理和扩展Hadoop。

此前,VMware宣布了其大数据策略:在统一的vSphere云架构和HDFS文件系统之上,提供GemFire实时处理、GreenPlum交互处理及Hadoop批处理三种模式。另外,VMware收购的云端大数据分析工具Cetas,也是提供在Hadoop平台上的分析服务的。(详见:《三路出击 VMware云平台抢滩大数据》)

VMware大数据策略

从这个架构中我们也可以看出,Hadoop在虚拟环境中的成熟程度,对VMware的大数据策略至关重要。

  先天不足,Serengeti补之

只是Hadoop既非万能,也受限于环境。首先,作为开源项目,Hadoop存在部署和运营的复杂性、特定的硬件需求、安全上的顾虑和服务水平保障等障碍,让企业很难充分发挥其威力,这也是各种Hadoop发行版诞生的直接原因。

对VMware来说,更为关键的是,根据Apache的Virtual Hadoop wiki文档给出的结论,You can bring up Hadoop in cloud infrastructures, and sometimes it makes sense, for development and production. For production use, be aware that the differences between physical and virtual infrastructures can threaten your data integrity and security - and you must plan for that.(可以将Hadoop带到云基础架构上,但物理和虚拟基础设施之间的差异可能危及数据完整性和安全性。)

在针对大数据项目的风险的探讨中,许多业界专家都指出数据的完整性的重要性,所以这个问题必须解决,Serengeti应运而生。

Steve Herrod博士称,Serngeti的作用就是可以快速在虚拟化环境中部署Hadoop,并进行有效的监测和管理,实现Hadoop集群的高弹性。当然,VMware还提到过,虚拟化还让Hadoop适用于多租户环境,让Hadoop安全性提高(这里指VMware虚拟化在不同集群之间产生强隔离)。

此外,VMware也致力于同Hadoop合作伙伴共同改变Hadoop分布式文件系统和Hadoop MapReduce开发。Spring for Apache Hadoop(2012年2月首次发布的开源项目)的更新,让企业开发者能够轻松利用Apache Hadoop开发分布式处理解决方案。

Serngeti开源项目

但还是有问题。虚拟化做得再好,性能损耗是很难避免的。微软亚太研发集团首席技术官孙博凯(Prakash Sundaresan)坦言,Windows Azure的主要功能是提供池化的IT资源与服务,从每个节点看,虚拟层会造成每节点10%左右的性能损耗。

(责任编辑:杜庆先)

时间: 2024-07-28 13:08:21

VMworld 2012:Hadoop离虚拟化还有多远?的相关文章

Hadoop如何走得更远? - 产品和技术

Hadoop如何走得更远? 发布时间:2012.05.11 12:52 &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;    来源:赛迪网     作者:赛迪网 存储技术已经发展和成熟起来,并开始在许多数据中心处于近乎商品的地位.然而,今天的企业面临着存储技术的不断变化带来的诸多问题一个例子是推动大数据分析,一项给大型数据集带来商业智能BI功能的举措. 大数据分析过程需要如下超出典型存储范式的能力-典型存储范式,

VMworld 2012 盛会五大预测:公有云,私有云发展趋势走向

在2012的VMworld(8月26号到30,旧金山)的盛会上,VMware 有望与众人分享一个重大的愿景,即虚拟化推动公有云和私有云计划.在CEO交接转换的过程中,VMware将会向公众解释他们的软件怎样继续灵活的推动聚焦数据中心.但是对于增值经销商来说什么是关键的组成部分,渠道合作伙伴又会被什么样的问题刁难呢?下面咱们就来一睹为快-- 1. CEO交接 VMware新CEO帕特@基辛格将会在九月正式接手保罗.马瑞茨的工作.但迹象表明,在VMworld的舞台上,基辛格和马瑞茨都将在舞台上出现.

Hadoop的虚拟化之恋

高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值.传统的BI系统.数据仓库和数据库系统都不能很好地处理这些数据,原因包括:1)数据量太大,传统数据库不能有效存储并维持可以接受的性能:2)新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的:3)传统数据处理所需的硬件往往相对昂贵,随着数据量增加而继续用传统方式处理的成本让很多企业不能承受.为此,倍受互联网界推崇的Apache Hadoop这朵奇葩日益吸引了企业界的目光,大量企业都在思考如何把Ha

大数据引发存储限制 Hadoop如何走得更远?

存储技术已经发展和成熟起来,并开始在许多数据中心处于近乎商品的地位.然而,今天的企业面临着存储技术的不断变化带来的诸多问题一个例子是推动大数据分析,一项给大型数据集带来商业智能BI功能的举措. 大数据分析过程需要如下超出典型存储范式的能力-典型存储范式,简而言之,即传统的存储技术,如SAN.NAS和其它无法在本地处理伴随着大数据的挑战而来的TB级和PB级的非结构化信息的存储技术.除此之外,成功http://www.aliyun.com/zixun/aggregation/14294.html"&

Hadoop的虚拟化之恋:应对大数据挑战

文章讲的是Hadoop的虚拟化之恋:应对大数据挑战,高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值.传统的BI系统.数据仓库和数据库系统都不能很好地处理这些数据.原因包括: 1.数据量太大,传统数据库不能有效存储并维持可以接受的性能; 2.新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的; 3.传统数据处理所需的硬件往往相对昂贵,随着数据量增加而继续用传统方式处理的成本让很多企业不能承受.为此,倍受互联网界推崇的Apache Hadoop

2012年桌面虚拟化的发展之路

科技博客Gigaom日前撰文称,2012年,随着BYOD(Bring Your Own Device )运动的蓬勃发展,http://www.aliyun.com/zixun/aggregation/14402.html">桌面虚拟化也将快速扩大市场份额,最终在2015年达到8%至10%的普及率. 以下为文章全文 前几年,专家们每年都会说是这是桌面虚拟化发展的一年,但是他们每次都说错了. 现在,随着思杰收购Virtual Computer以及最新的VMware View 4.6全面上市,我

2012 Hadoop与大数据技术大会盛大开幕

摘要:11月30日-12月1日,中国IT界技术盛会--Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店隆重开幕.大会以"大数据共享与开放技术"为主题,设定"Hadoop生态系统"."大数据行业应用"."大数据共享平台与应用"."NoSQL与NewSQL"以及"大数据的技术挑战与发展趋势"五个分论坛. 2012年11月30日-12月1日,中国IT界技术盛会--Ha

Windows Server 2012 R2 Hyper-V虚拟化常见异常处理方法总结_Hyper-V

最近给客户做一台Hyper-V虚拟化服务器,本着对于Microsoft的爱,信心满满的安装了一套Windows Server 2012 R2 Hyper-V,可Microsoft好像不太爱我!!异常多多! 问题一:虚拟机内存占用100% 虚拟机开机内存占用正常,但是如果开启任何一个应用,内存就会100%,太吓人了!Ping都会! 我尝试调整动态内存分配但未能够此解决,后来将动态内存分配功能关闭使用正常使用正常!以前部署的时候不会有这种情况,估计与服务器硬件有关系(此服务器硬件使用DELL R72

权威预测 2012服务器虚拟化三大趋势

如果非要你说出2012年服务器虚拟化领域的一个大趋势,那会是什么?预测未来从来就不是容易的事(想一想,有人之前向我们承诺肯定会出现的种种会飞的汽车在哪里呢?),但是虚拟化管理软件开发商HotLink的首席技术官Oded Haner却认为,他发现了三个大趋势,而不是一个大趋势(这些大趋势可不像会飞的汽车不太现实). 第一个大趋势是许多企业会采用多种虚拟机管理程序.Haner认为,那是由于VMware之外的其他替代技术现在非常好,许多公司会根据自己想要运行的应用程序以及自身已经具备的技能,采用相应的