Hadoop一体机将挑战传统企业IT团队

文章讲的是Hadoop一体机将挑战传统企业IT团队,IT部门通常是以一个个“孤岛”的方式组织起来的,包括数据库管理员、网络工程师、系统管理员以及存储管理员等。Oracle Exadata由于其软硬件集成的架构方式,使得传统的企业IT运营将发生一些变化,同时存在着一定的挑战。

  用不了多久,客户就会了解到Exadata需要一个统一的团队来负责整个机器的管理与运维。而随着越来越多客户使用Hadoop来支撑大数据项目,他们也会面临着同样的困境。

  传统IT运营孤岛使得团队无法有效协作,效率低下,这与Oracle所倡导的简化IT理念是背道而驰的。取而代之,大多数采用Exadata的客户为了简化运营,都选择了建立或者外包一个专门的Exadata管理团队或者数据库一体机管理(DMA)团队。作为预集成的系统,Exadata内部虽然包含了管理以及自动化软件,但它需要的知识储备远比普通DBA要多,这其中包括核心的数据库技能以及网络和存储等硬件技能。

  Hadoop作为大数据的核心技术之一,也同样给企业IT部门造成了挑战,它所需的技能要比Exadata还要更专业,包括深度的硬件、网络、存储和Linux知识,还需要核心的数据管理技能用来构建和运营Hadoop集群。除此之外,成功的大数据项目需要运营团队与开发团队、数据科学家以及业务部门更紧密地协作。

  之所以需要一个特定团队来支撑大数据项目,是因为大数据会涉及到IT系统中的所有组件,并高效运行。我们这里所讨论的是上千个节点以及上万个处理器的规模,即使是10%的效率低下都会造成很严重的影响,近电力能源消耗可能就会让一个企业吃不消。

  把Hadoop集群想象成一个数据超级计算机。Hadoop的组件需要彼此协作以达到最高效,因为即使一个组件出现问题,那么它就会成为整个系统的瓶颈,最终拉低系统的整体性能。更重要的是,团队的职责不仅仅是Hadoop运维,还包括一系列的数据管理以及外部系统整合工作等。

  大数据仍然处于初级阶段。在可以预见的未来,大数据核心技术以及应用仍将以飞快的速度不断变化。数据仓库项目通常包含业务逻辑分析、数据建模、ETL开发、报表开发、数据集市开发以及运营支持等阶段。但一个基于Hadoop的大数据项目不仅包含上述的阶段,还要持续同步地进行,团队成员需要紧密协作。为了大数据项目的最终成功,企业IT部门需要成立一个综合的团队,能够应对大数据每个方面所带来的挑战。

作者:孙瑞 译

来源:IT168

原文链接:Hadoop一体机将挑战传统企业IT团队

时间: 2024-08-29 03:27:21

Hadoop一体机将挑战传统企业IT团队的相关文章

传统企业转向互联网,如何快速提升研发效能?

互联网时代,随着业务的迅猛发展,企业越来越希望通过实施DevOps来提升研发.运维等IT部门的效率,支撑业务发展.互联网企业如何利用工具让DevOps落地?传统企业如何提升研发效能,更快速的互联网化?这些都是企业面临的问题. 近期,阿里巴巴持续集成持续交付平台--云效,在深圳阿里中心举办了一场"业务为王时代,DevOps怎么玩?"主题沙龙,由阿里巴巴技术专家从云效新概念的提出,到阿里巴巴DevOps落地实践.到企业如何利用云效进行高效研发.再到阿里巴巴CI/CD之分层自动化,帮助参会者

范志涛:传统企业电子商务之路的八大屏障

随着http://www.aliyun.com/zixun/aggregation/7676.html">网络购物的成熟和普及,国内电子商务市场已经从千亿规模攀升至万亿规模,这似乎也意味着电子商务出现了井喷,此时此刻,也催醒了无数传统企业脱胎换骨逐渐走上电子商务的道路,然而在这个转型过程中,有的传统企业快速下马而告终,也有的企业不断突破屏障,开始渐入佳境.下面我与大家分享一下传统企业走向电子商务之路的八大屏障. 一.意识观念屏障 自上而下的意识观念,是开展行动的一切根源.传统企业往往存在着

传统企业电商化:核心挑战与成功基因

不同传统企业的电商化进程,核心挑战各不相同,但面临的共同问题都是人才匮乏.其成功之道,无非是在重视商业本质的同时,利用现代精准营销技术强化互联网基因. "今天坐在这儿特别踏实.我之前参加过几次电商论坛,来自传统商业的就我一家,其他的都是做纯电子商务." 在刚刚结束的第三届易观电子商务年会上,上品折扣CEO李炎似乎长吐了一口闷气,因为这次与会的电商企业,有不少都和他一样来自传统商业领域,比如苏宁易购.七匹狼.安踏.李宁.金象药房.拍鞋网. 显然,这仅仅是一个开始,不得不参与和主动融入的开

进军电子商务传统企业将面临何种挑战

据今年初发布的<中国互联网络发展状况统计报告>显示,2010年,中国的电子商务实现了高速的发展,全年电子商务市场交易额达4.5万亿,同比增长22%.其中,B2B电子商务交易额达到3.8万亿,网上零售市场交易规模达5131亿元. 随着电子商务的迅猛发展,越来越多的传统企业认识到电子商务的发展已是一股不可逆转的潮流,是顺应潮流乘风破浪发展壮大,还是原地徘徊直至被潮流吞没,传统企业已经到了不得不做出选择的时候了.因此,无论是主动向电子商务领域拓展,还是被动的适应电子商务带来的转变,传统企业进军电子商

网络零售:传统企业的机遇与挑战

按:自进入2008年以来,不断有机会和很多令我敬仰的企业团队一起探讨能让"衬衫+鼠标"."宽带+运动鞋"继续他们创富神话的通路,聊的多了,就职业病般归纳总结成PPT把聊天当提案了,提着提着,不少老板果敢地把他们在专卖店货架上的商品搬到了互联网上,并做成BANNER和BUTTON广告大声叫卖起来,开始了通过解决几亿网民衣食住行获取利润的电子商务.简称:B2C. 绘声绘色地讲PPT,讲多了就难免口干舌燥,索性改改搞成文字,也补补中断几个月的博客. 经济发展到一定程度,为

苏宁十年挑战万亿计划,传统企业如何抓住电子商务机会?

近日,苏宁提出下一个十年挑战万亿的计划,零售店营业额达到3500亿元,而电子商务营业额也要达到3000亿元. 越来越多的传统企业加入电子商务大军,网络正在成为所有传统企业的"标配",企业应该把电子商务作为倒逼传统渠道优化的契机,因为这不仅仅是挑战,也是机遇.只要举措得当,传统企业可以借助电子商务发展得更快更好. 根据中国电子商务研究中心发布的数据,2010年,中国电子商务市场交易额达4.5万亿元,2011年可能突破6万亿元.此外,1.6亿的中国人开始在网上购物,网购活跃用户多在18~3

Hadoop一体机参考设计的方案设计原则

Hadoop是一种高度可伸缩的大数据应用方案,能过通过少至几台多至数千台互联的服务器处理几十TB到数百PB的数据.本参考设计实现了单一机柜的Hadoop集群设计,若用户需要多于一个机柜的Hadoop集群,可以通过扩张本设计中的服务器数量及网络带宽轻松实现扩张. Hadoop方案 Hadoop一体机设计 Hadoop方案的特点 Hadoop是一个低成本和高可扩展性的大数据处理平台.Hadoop提供了一个稳定的共享存储和分析系统,存储由HDFS(分布式数据存储)来实现,数据处理由MapReduce(

传统企业和传统产品转型互联网产品平台模式的那些事

摘要: 从事产品经理这些年以来,大到主要负责三茅招聘软件平台和美赛达B2C/APP商城的产品规划,需求分析和产品设计.小到移动端各种行业的APP产品规划和运营,和一些运营平台服务型产品 从事产品经理这些年以来,大到主要负责三茅招聘软件平台和美赛达B2C/APP商城的产品规划,需求分析和产品设计.小到移动端各种行业的APP产品规划和运营,和一些运营平台服务型产品.前几年大多是互联网产品做得居多,这些年反到挑战了一些传统行业转型互联网服务型产品的设计,这些经历和艰辛是对自己职业阅历和挑战力的又一次提

传统企业的电商生死局:胆识手段缺一不可

本以为是一场华丽的转身,谁知,真正到来的,却是一场血拼.这几乎成为传统企业大佬的共同心声――转型电商,用心.用力不少,结果却福祸难料. 毫无疑问,阿里生态成型,独领风骚:京东背靠腾讯,剑走偏锋:随着两大电商平台先后上市,电商的第一波浪潮结束,微软创始人比尔・盖茨口中"无电不商"的理念已经深入人心.在此基础上,可以预见,电商的第二波浪潮将是各种传统商业的"触电",但关键是,没有现成的"样板",大家只能在混沌中摸索,有人费心耗力,方向对了,成了&qu