Hadoop的虚拟化之恋:应对大数据挑战

文章讲的是Hadoop的虚拟化之恋:应对大数据挑战,高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据。原因包括:

  1.数据量太大,传统数据库不能有效存储并维持可以接受的性能;

  2.新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的;

  3.传统数据处理所需的硬件往往相对昂贵,随着数据量增加而继续用传统方式处理的成本让很多企业不能承受。为此,倍受互联网界推崇的Apache Hadoop这朵奇葩日益吸引了企业界的目光,大量企业都在思考如何把Hadoop这个美丽的新娘娶回自己的数据中心

  不过,传统的企业数据中心要想娶回这个妖艳新娘可不是那么简单。Hadoop的部署、运维都需要很多极客才能完全掌控,完全超出了传统企业数据中心的技术能力;另外,Hadoop不仅需要专门硬件,而且安全和服务等级确保也是挑战。如何能享受美丽新娘的温柔梦乡而不带来其他的后患成为企业选择Hadoop的现实挑战。

  从服务器虚拟化到整个数据中心虚拟化,今天我们已经充分感受到了虚拟化这个小子的力量!如果虚拟化能和Hadoop来场恋爱,企业数据中心选择Hadoop的羁绊是不是都会一扫而光呢?答案是肯定的。虚拟化能让Hadoop和底层物理硬件分离,真正步入云端翩跹起舞,Hadoop从而轻松步入快速部署、高可用、资源弹性调度和安全多租户的云端殿堂,企业数据中心大数据分析和利用的美梦才能真正成为现实。

  让我们一起来揭开虚拟化这小子的恋爱秘籍吧,以便更好地利用Hadoop来应对大数据的挑战。

  1.快速部署Hadoop:我们已经熟悉虚拟化的密码,包括虚拟机、快照、模板、资源动态分配等,这些特性能很好地降服了大量应用部署的难题,Hadoop当然也不在话下,可以大幅度提高Hadoop节点的部署速度。同时,可以按需快速启动和关闭Hadoop节点,从而实现资源的高效利用,比如VMware发布的Serengeti开源项目,助推了虚拟化和Hadoop之恋的进程;

  2.为Hadoop提供高可用和容错能力:尽管Hadoop通过数据分布复制提高了系统可靠性,但仍然有很多部件存在单点故障,这种结构在互联网企业中可能不是问题,但对传统数据中心来说绝对是个挑战。比如:Namenode和jobtracker以及某些支持模块都存在单点故障,通过虚拟小子的平台高可用可以为这些模组轻松赋予高可靠的特性,让Hadoop走进企业数据中心后,您仍然能高枕无忧;

  3.拥抱Hadoop的高效数据中心:通过虚拟小子动态调度能力,可以将各种不同的负载混搭在企业数据中心云端平台,Hadoop当然也可以与其他负载同床共枕,通过严格的安全隔离,确保不会发生任何冲突。甚至你可以在同一云平台运行不同版本的Hadoop,相互之间和平共处,资源共享,在确保可用性、性能的前提下,降低了传统部署Hadoop的总体成本,轻松实现了高效数据中心的目标;

  4.大幅提升Hadoop环境资源利用率:将Hadoop和其他负载部署在同一主机上,通过资源控制策略来实现资源的高效分配和调度,实现Hadoop在云端的完美漫步,是虚拟化小子赢得这场恋爱的关键一环;

  5.Hadoop云端多租户:通过虚拟化的隔离能力,Hadoop确保本身多租户的完美体验,不同的租户可以将Hadoop和其他负载混合运行在云端资源池,多租户顺利部署实现;

  6.安全隔离:虚拟小子的安全隔离能力,让不同组织、用户的Hadoop可以无忧运行,轻松达成数据和环境完全隔离的目标,同时共享底层的物理资源;

  7.易于维护和迁移:虚拟化让Hadoop节点易于复制、迁移,方便了同数据中心不同集群之间、一个数据中心到另一个数据中心跨云迁移等瞬间实现,Hadoop再也不是一个行动不便的媚娘。

  虚拟小子通过7板斧顺利赢得了Hadoop的芳心,不仅仅让Hadoop没给传统的企业数据中心添乱, 而且Hadoop在虚拟平台上的魅力未减,因为大量的事实已经印证了虚拟化的Hadoop节点运行性能依然堪比物理环境,同时还带来了大量的成本节约。Hadoop和虚拟化门当户对,他们的恋爱之果值得我们共同期待和祝愿:祝Hadoop和虚拟化白头偕老,永结同心,百年好合!

作者:张振伦 

来源:IT168

原文链接:Hadoop的虚拟化之恋:应对大数据挑战

时间: 2024-08-24 19:53:50

Hadoop的虚拟化之恋:应对大数据挑战的相关文章

应对大数据挑战 企业需共享式服务模型

本文讲的是应对大数据挑战 企业需共享式服务模型,大数据来袭!当企业准备把自己的MapReduce应用从实验环境迁移到生产环境时,共享式服务模型将为这种迁移提供许多重要功能,并加快迁移步伐. 大数据是当今科技行业发展速度最快的领域之一.大数据具有前所未有的大量化.快速化和多样化三大特点,这些是许多新技术背后的驱动力,这些技术可帮助企业处理大数据带来的多种新问题. 在诸多的新兴解决方案中,Hadoop和MapReduce被视为是两种大有希望的方法,可高效管理和分析大数据.但目前针对MapReduce

IBM:应对大数据挑战的十大绝技

IBM提供了一系列平台应对大数据带来的三方面挑战--大量化(Volume).多样化(Variety)和快速化(Velocity).无论是能源公司分析气象数据,还是司法机构在众多视频资料中分析有价值信息,亦或是银行为审查资产判别客户级别分析多年的交易数据.IBM大数据平台,都可以帮助企业将数据当成战略资产进行管理.IBM研究机构在大数据领域工作有超过3年时间,目前已经拥有100个大数据项目客户.在商业分析领域IBM已经投入巨资140亿美元--其中包括24项收购以及集聚了8000名分析顾问. IBM

保险公司“大都会人寿”以新兴企业态度应对大数据挑战

大都会人寿是一家规模庞大的保险企业,在跨越美洲.欧洲以及亚洲的庞大市场当中拥有超过9000万客户.不过在本周三于纽约市举办的Gigaom Structure Data大会的舞台上,该公司区域应用程序开发部门副总裁兼CIO Gary Hoberman指出该公司在部署大数据应用程序时.更倾向于学习规模精干的小型新兴企业--这一点在其最近部署客户服务工具MetLife Wall时体现得尤为明显. "我们约有八十到九十位开发人员共同打理该项目,而且整个开发周期被成功控制在九十天之内,"Hobe

如何利用“小数据”战略应对大数据挑战?

ManageEngine公司是一家http://www.aliyun.com/zixun/aggregation/13597.html">企业IT管理软件提供商,总裁Raj Sabhlok表示:现如今,大数据为忙碌的IT部门提出了新的挑战,其中许多麻烦早已不仅仅只是实施并部署一项新的数据管理平台的后勤问题那么简单了.企业的IT部门的问题早已经从收集不到足够的数据转变为数据太多了. "如果倒退到10年前,从IT的角度来看,我们严重的缺乏收集的数据.彼时,我们对于企业相关的系统.网络

联通黄文良:“Hadoop+至强”应对大数据

7月24日,以"芯动大数据,智领大机遇"为主题的英特尔大数据论坛在北京举行.中国联通研究院副院长黄文良先生在大会上介绍了联通应用英特尔Hadoop发行版和基于英特尔至强处理器平台的服务器应对大数据挑战的真实案例. 伴随着智能手机的普及,广大用户利用手机上网和社交越来越频繁,这由此也带来了一个新的挑战:用户想清清楚楚了解自己的上网流量究竟用在了哪里?在这种状况下,联通从去年开始部署针对移动互联网用户的上网记录.和其他运营商以省为单位不同,联通是在全国部署了一套上网记录查阅系统,用户可以通

大数据能让警察被开除,政企如何应对大数据落地

大数据不是魔力水晶球,不能预知未来的一切,不能改变一切;大数据也不是空中楼阁,不接地气. 大数据到底有什么用 好像这个事情困扰大家已久,其实大数据的作用非常实在,美国有一程序员哥们,他去缴纳违章罚款的时候看了一眼罚款统计表,发现自己家门前那段路上的罚款单相较于其他街区数量特别多,这哥们就心生疑问:怎么回事?我们这个街区的司机都不遵守交通规则还是这个街区的红绿灯有问题还是什么其他的原因? 面对这一蹊跷,身为程序员的他当然没有只是一想而过,而是充分发挥了理工男较真的精神去调查清楚这件事. 要调查清楚

Hadoop的虚拟化之恋

高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值.传统的BI系统.数据仓库和数据库系统都不能很好地处理这些数据,原因包括:1)数据量太大,传统数据库不能有效存储并维持可以接受的性能:2)新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的:3)传统数据处理所需的硬件往往相对昂贵,随着数据量增加而继续用传统方式处理的成本让很多企业不能承受.为此,倍受互联网界推崇的Apache Hadoop这朵奇葩日益吸引了企业界的目光,大量企业都在思考如何把Ha

小公司如何应对大数据热潮?借助第三方服务,或者逆势而为抛开数

"大数据"已经成为互联网上最热门的概念之一,我看到许多创业者都开始谈论大数据的商用价值,创业项目一定得和"大数据"挂钩,有些人更是把<大数据时代>一书奉为圣经,仿佛只要买一本祭在家里的某个角落,自己就有资格高谈论阔.指点江山了.但实际上,虽然书中洞见了数据分析的趋势和隐忧,可由于作者Viktor Mayer Sch nberger是一个典型的学术派,并没有什么值得称耀的实践经验,导致此书缺乏落地感,大数据商业应用在没有可靠技术支撑的状况下也只能是一纸空谈

SAP借助HANA应对大数据时代的实时分析

本文讲的是SAP借助HANA应对大数据时代的实时分析,随着企业业务的扩大,信息化的深入,能否快速处理海量数据并有效进行实时分析,将决定企业是否可以迅速应对市场行情变化.做出决策,从而占得发展先机.企业需要实时洞察业务运营状态,以便迅速应对不断变化的市场形势.据研究机构预测,在未来2-5年中,45%的企业将投资于"大数据",以确保在竞争日渐激烈的商业环境中,即时访问和分析所有运营数据的能力. SAP数据库及技术平台市场经理金江带来基于SAP HANA的实时分析应用在线研讨会,并进行了主题