Hadoop 真特么难用

在本周的大数据研讨会上,Continuuity的首席执行官指出Hadoop实施难度大,极为难用,如果不解决技术复杂性问题,Hadoop将被自己终结。

Continuuity的首席执行官Todd Papaioannou曾经是雅虎的首席云计算架构师,当年他和120个弟兄接到一个艰巨的任务:在拥有40万个节点的雅虎私有云中配置4.5万台 Hadoop服务器,为5000位雅虎开发人员创建一个稳定的开发平台。在Papaioannou的回忆中,当时的场景非常不堪:

负责建设Hadoop平台的团队个个手忙脚乱,互相从代码库中翻找可供粘贴整合的代码,就像一群中学生在车库中做手工。当基础架构总算搭好的时候,开发者又花了4-5个月才开始发布应用,这也严重影响了雅虎的产品创新进度。

“那段时间如果你留意的话,yahoo的产品时不时会出一些状况”,Papaioannou说道。他认为从雅虎的Hadoop实施中学到了重要的一课:

Hadoop实在太难用了。它属于底层基础软件,而今天大多数IT人员都不熟悉底层基础软件。

有过帮雅虎实施Hadoop项目的痛苦经历后,Papaioannou下决心创办一家能够降低Hadoop部署和应用开发门槛的公司—Continuuity,在Hadoop和HBase的基础上创建一个抽象层—AppFabric,屏蔽掉Hadoop底层技术的复杂性,让更多的开发者能够开发大数据应用,而不仅仅是Hadoop(Mapreduce)应用。利用YARN和HBase,Continuuity开发出了能实时处理流数据的方法,并且能在任务不中断的情况下动态扩展Hadoop集群的规模。

Papaioannou认为Hadoop开发者不应该为节点、集群、数据块等本应由工程师处理的事担心。这有些类似Heroku、Cloud Foundry和Windows Azure提供的PaaS服务,事实上Continuuity计划在2013年推出AppFabric的公共云服务,以配合目前企业内部使用的版本。

时间: 2024-11-02 02:58:24

Hadoop 真特么难用的相关文章

福州玉龙建材涉嫌虚假宣传企业称真荣誉鉴别难

有 网友向东南网反映,福州玉龙建材有限公司在自己的"金师傅"产品上打上了"央视广告品牌",而且还提供了"央视热播品牌"荣誉证书为其正名.福州玉龙建材金师傅产品通过联系了该企业,该企业提供了相关的荣誉证书,并表示自己已经获得授权,为什么不能使用其授权的荣誉?福州玉龙建材有限公司提供的荣誉证书通过该企业提供的一系列相关荣誉证书发现,"央视热播品牌"竟然是企业投放广告所联系的央视广告代理公司所提供,而并非央视所提供."金师

数据科学家调查:受挫数据多样性,吐槽 Hadoop

经过无数权威媒体的反复轰炸,我们大致已经相信,数据科学家是21世纪最神秘最性感最多金的职业,他们是大数据时代数据炸弹的拆弹专家,企业数字化经营的发动机,他们的身价堪比NFL四分卫,而且,他们比昆仑山上的雪豹数量还少. 显然,数据科学家个个都是十八般数据分析武艺样样精通的绝世高手,但他们近来也有烦心事.不久前,开源数据库SciDB开发商Paradigm4进行的一项针对111名北美数据科学家的调查显示,71%的数据科学家认为数据来源的多样性(IT经理网记者此前曾与百度创始七剑客之一,酷我音乐CEO雷

任天堂:只有见到3DS真机才能感受它的强悍

据报道,任天堂3DS开发项目主管Hideki Konno近日在接受采访时表示,玩家在未见到3DS真机演示之前很难感受到它的魅力,并强调任天堂对于3DS的推广需掌握技巧. Hideki Konno说:"我们一直在讨论3DS的营销策略,公关部门认为应该用影院营销模式进行推广,因为影院具备了观看3D电影的条件.但是我认为3DS的一大优势在于它的裸眼观看,其它常规的广告推广促销活动同样可以适用于3DS,一些3DS相关信息还得需要口头上进行告知. 他还表示,即便是在任天堂内部也有不少3DS的质疑声,之所以

真随机数要产生了 作为安全人员你知道这意味着什么吗?

真随机数很难生成.原因很简单:如果能够被生成一次,就也能够被重新生成:如果能够重新生成一个随机数,它就算不上随机的. 随机数是信息安全的核心要素,它是信息安全最强力的武器--加密的关键,算法使用随机数生成密钥.有一个困扰人们很久的问题:如果攻击者能够重现数字生成的随机算法,他就能重新生成密钥,更方便地破解加密.因此,人们在过去许多年中花费巨额资金,开发"真随机"技术. 位于奥斯汀的德克萨斯州立大学宣称有了突破.计算机科学教授大卫·查克曼 (David Zuckerman) 和研究生Es

我的三年建站生涯,一个普通站长的从业之路

接触做站是大2002年吧,那时候使用的8u8.com提供的免费空间,那时8U8上传采用的是在线源码的方式,经过几个月的摸索,在8U8技术文章指导下,我渐渐地撑握了一些做站技巧.当时我只是想做一个个人网站玩玩,感兴趣而已,可自己怎么也没想到,自己竟然走上职业网站之路. 2004年6月,我从浙江辞职回到老家,但我也厌倦那种找工作的无聊,偶然的机会,我想到了域名注册,自己为什么不可以帮别人注册域名,这肯定有前途.说干就干,装宽带,找域名注册商,到网上下载域名注册的源代码.最终我选定了中资源,那时我就知

寻找产品设计的共性或趋势

文章描述:几个产品趋势. 成功的产品,在摆上桌面供大家学的时候,许多成功元素已经成了过去式:从中发现寻找共性或趋势,却可以为以后的产品提供参考.今天想了四点,仅供大家参考 本质化 什么是本质需求?曾经在路上听到一位妈妈问她的孩子:"你想要买什么?""冰箱!""因为冰箱有很多好吃的么?""嗯!"因为要好吃的,所以买冰箱,这就是本质需求.清楚了这一本质需求,"好吃的"满足方法有很多,微波炉,电烤箱等:如果需求分

百度竞价推广账户优化技巧 如何提高关键词质量度

做百度竞价的企业越来越多了,相关数据显示目前百度的竞价客户已经超过四十万家,不得不说百度很牛啊.做百度竞价的企业很多也尝到了甜头,赚到了钱,但那都是少数懂得技巧的企业;多数没挣到钱的企业还在不懂和摸索中,百度竞价真有这么难吗? 误区:以为出价高就能排到百度推广左边前几位,就会有咨询量和订单量. 先来看几个公式: 百度竞价真正的排名规则:综合排名指数 =自身出价 * 质量度 关键词每次的点击价格=(下一名出价 * 下一名质量度)/关键词质量度+0.01 关键词的点击率:(点击率=点击量/展现量)

其实你的H5可以活更久

  "H5还能活多久?" "我觉得还能多活1秒."这是W创始人三水老师在其主题演讲上给出的答案,当然三水老师言外之意并不是在具体时长上. 事实上,没有人能保证H5能活多长时间,但可以做到如何让品牌在用户大脑尽可能停留更的长时间.也就说,我们不能把注意力放在H5身上,而是如何将品牌更好通过H5走进用户内心.故事化.场景化.强互动.参与感.社交性这5要素融入H5中或许能让你的H5活更久. 1.故事化 毋庸置疑,H5本身是一个信息承载和传达的工具,你不能把它想得多么伟大.

HTML 5设计原理

Jeremy Keith在 Fronteers 2010 上的主题演讲 下载PPT(PDF) http://adactio.com/extras/slides/designofhtml5.pdf 观看视频 http://fronteers.nl/congres/2010/sessions/the-design-of-html5-jeremy-keith 51CTO推荐专题:HTML 5 下一代Web开发标准详解 今天我想跟大家谈一谈HTML 5的设计.主要分两个方面:一方面,当然了,就是HTML