Hadoop掌门人:Hadoop开启数据处理革命

文章讲的是Hadoop掌门人:Hadoop开启数据处理革命,2011年12月2日、3日,Hadoop in China 2011在北京会议中心成功举办。本次大会以“海量数据掘宝”为主题,吸引了来自世界各地的一千余名关注Hadoop的专家、开发者和使用者。【点击查看IT168视频直播专题

  本次大会最大的亮点就是Hadoop的创始人Doug Cutting亲临大会现场助阵。同时,IT168作为本次大会的协办方,在现场采访到了Doug Cutting。在采访中,Doug Cutting分享了他对于使用Hadoop的企业的建议,谈到了开发者如何更好地贡献Hadoop社区,并介绍了他所专注的Avro项目如何让不同语言编写的应用程序实现互操作;同时,他还谈及了自己从Yahoo!到Cloudera所遇到的挑战,最后,作为Hadoop之父,Doug Cuttin畅想了Hadoop在未来5到10年的发展前景和对Hadoop的期望。


▲Hadoop创始人Doug Cutting正在接受IT168视频采访【点击查看采访视频】  

  IT168:欢迎来到IT168,首先请跟我们的网友打个招呼好吗?

  Doug Cutting:很高兴来到这里,谢谢!

  IT168:第一个问题是,Hadoop在中国已经作为一个默认的大数据处理技术,被互联网企业和IT厂商所广泛使用,对于如何更好地使用这个开源的技术,您有些什么建议?

  Doug Cutting:最好是加入到开源的进程中来,当你看见一些功能的缺失,我们可以在每一个项目中联合起来。开源让企业真正了解它们所使用的技术,这是它们之前所不能做到的,所以我认为企业应该充分利用开源。

  IT168:中国的Hadoop开发者如何更好地参与Hadoop的贡献,目前,Hadoop的哪些方面最需要贡献?

  Doug Cutting:不管人们用的是该系统的哪一个部分,最重要的事情就是在使用过程中,发现一些令你疑惑的事情,这时可以抓住机会写一些文档,或者是做一些改进,让人们不那么疑惑。如果你发现一些功能缺失,或者有缺陷,可以做一些工作来改进,比如写一些新的代码。

  IT168:今天您演讲的主题是《Apache Hadoop and the Big Data Platform》,能否简单介绍一下演讲内容?

  Doug Cutting:当然可以。我谈到了,硬件的发展让我们可以访问海量的数据,但是软件却相对落后,我们没有软件工具,来使用到企业所购买的硬件,企业不得不购买许多程序和硬件驱动来存储PB级的数据并处理它,从而更好地理解业务,这非常昂贵。Hadoop技术正在形成一个平台,它是一个开源的项目的集合,每一个项目都有一个社区。随着越来越多的人们开始使用它来分析数据,新的项目不断地加入,一整套的项目正在持续发展壮大。

  IT168:我还带来了一个来自我们社区开发者的问题,为什么当时使用JAVA来写Hadoop,而不是使用C?

  Doug Cutting:使用JAVA的原因主要是在性能和易开发之间进行了权衡,尽管JAVA性能不如C那么好,但是也没有慢太多,并且JAVA的类型安全、垃圾回收机制等也使得开发程序简单得多,调试起来也要更快一些。所以我认为,JAVA一个生产效率很高的环境,尽管有一些性能方面的浪费,但是问题不大。

  同时,我们也在寻找更多C方面的工具,我在做一个项目叫做Avro,我尝试提供一个通用的数据格式,让使用不同语言编写的应用程序可以通过共享数据更好地互操作。因此,有C版本的Avro,Java版本的Avro,应用程序可以使用这些来共享数据。总之,C语言开发相对要慢,而对于许多应用来说,开发的速度更加重要。

  IT168:从Yahoo!到Cloudera,你认为最大的不同和挑战是什么?

  Doug Cutting:Yahoo!是Hadoop的用户,它使用许多大型的Hadoop集群来解决许多问题。而在Cloudera,我们有成百上千的客户,我们看到的是各种不同的应用、大小不同的集群,客户需要解决的问题也不同,这在相当程度上是一个问题,不再仅仅是在最大的集群上运行Hadoop来解决最大的问题,而是需要解决更多不同的问题,这是Cloudera所要解决的问题,也是一件很令人兴奋的事情。在Cloudera,我们也看到客户飞速增长,我们现在有很多客户的集群计算节点已经超过了1000台,还一直在扩大。

  IT168:你如何看待Hadoop的未来?

  Doug Cutting:我认为,Hadoop将成为未来IT架构的主要部分之一,我认为它是数据处理革命的开端,这是一种全新的方式,基本上所有的新技术都是新的。在未来的5到10年之内,在Hadoop领域将会持续看到很多新的事物:许多新的工具、许多新的应用、越来越多的行业开始使用Hadoop,我想这基于这个现有的大数据平台,将会产生许多新的应用,人们将会开始意识到,他们可以保存更多的数据,他们可以以全新的方式使用它,这是他们以前都没想过的,所以我认为这是一件很好的事情。

原文发布时间为:2011-12-07

本文作者: 唐蓉

时间: 2024-10-21 22:23:51

Hadoop掌门人:Hadoop开启数据处理革命的相关文章

hadoop教程(二) hadoop的常用命令

distcp 并行复制 相同版本的hadoop集群 hadoop distcp hdfs//namenode1/foo hdfs//namenode2/bar 不同版本的hadoop集群(hdfs版本),在写的一方执行 hadoop distcp hftp://namenode1:50070/foo hdfs://namenode2/bar hadoop的归档 归档的标准命令:archive -archiveName NAME -p <parent path> <src>* <

《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容. 2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机

大数据之Hadoop平台:Hadoop多用户管理

前言 &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;     最近有一些需求,就是需要在hadoop集群中实现多用户管理,因此在网上搜了很多的资料.其中有一种方法感觉还是比较可行,链 接:http://cn.soulmachine.me/blog/20140206/大概方式是:先新建一个用户test1,然后把hadoop的安装 目录复制一份copy到这个用户test1的目录下,再赋一下权限,然后这个用户就可以向集

迈耶一跃成为硅谷IT企业屈指可数的女“掌门人”之一

新华网旧金山7月16日电(记者毛磊)雅虎公司16日出人意料地宣布任命玛丽萨·迈耶为雅虎总裁兼首席执行官(CEO),相关任命于17日正式生效.这名37岁的谷歌公司前高管一跃成为硅谷IT企业屈指可数的女"掌门人"之一. 业界人士对雅虎这一决定的初步反应总体比较积极,认为迈耶是雅虎所需的帅才.科技新闻网站"万物数字化"援引谷歌公司执行董事长埃里克·施密特的话说,迈耶是产品研发好手,极具创新精神,雅虎任命她为CEO是一个很好的选择. 近年来,雅虎走马灯般更换负责人,给公司发

IBM Power业务掌门人:认知时代是计算系统演进的拐点

一直以来,计算系统的演进一直按照摩尔定律在进行,即每18个月计算性能翻一倍.近年来,由于材料和工艺方面的原因,计算性能的提升越来越困难,不少人提出摩尔定律已死的说法.不过,在IBM Power业务掌门人.IBM认知系统高级副总裁Bob Picciano 看来,不是摩尔定律是不是已死的问题,而是今天这个认知时代计算系统的发展出现了一个拐点:即从以往单一追求性能转变为追求综合处理效率,而当下流行的人工智能就是这个拐点出现的重要推手之一. 进入认知计算时代  "我们认为,现在新一代的计算和以前不太一样

我爱的音乐,今天我是“掌门”——百度“音乐掌门人”

对于音乐,每个人 都有一份感动.很 多时候,我们会因为找不到一个可以分享喜爱的音乐的人而难过.还好,网络总是可以在某些不经意 瞬间来满足我们那些莫名的感动.今天笔者为大家介绍一个可以和互联网上的 所有人分享自己喜爱的音乐的机会--百度"音乐掌门人".这是一个百度最新推出的服务,它会根据专集的内容自动给出百度对该歌曲的 搜索结果,从而实现了分享和表达喜爱的完美结合. 制作专集 打开百度"音乐掌门人"主页:[点击进入],目前这项服务不需要注册,只是在创建后,百度要对内容

阿里推出中国智能物流骨干网,马云成为新帝国掌门人

[导读]马云将会出任菜鸟网络董事长,而沈国军则担任CEO.而该公司宣布,第一期投资将是1000亿元,公司计划将在8-10年内建立起一张能够支撑日均300亿网络零售额的智能物流骨干网络,企图能够做到"让全中国的任何一个地区都可以做到24小时内送货必达". 在5月28日,阿里宣布推出了一项中国智能物流骨干网(China Smart Logistic Network,简称CSN)计划,而他本人也即将担任新帝国的掌门人.而由阿里集团牵头组建的CSN,准备联合银泰集团.复星集团.富春集团.顺丰速

“喜剧之王”对话“电商掌门人”

马云教 周星驰打太极拳 图TP 本报北京今日电(驻京见习记者 陶禹舟)当"喜剧之王"周星驰遇上"电商掌门人"马云,会碰撞出怎样的火花?前晚,一场"天马行空"的跨界对话在中国传媒大学进行,两位看似"风马牛不相及"的人畅谈了自己对于梦想.坚持.团队和想象力的看法.周星驰还表示希望邀请马云演电影,角色和女主角由他选.马云则开玩笑地回应,去年周星驰请过他演<西游·除魔篇>里的孙悟空,"不过我档期满了,就没答应,我

三星“掌门人”李在镕身在看守所 但仍“遥控”三星

北京时间3月14日早间消息,三星集团"掌门人"李在镕虽然仍被关押,但可以接待许多探视者,因此依然可以在公司决策中扮演重要角色. 李在镕并未出席周四的预备审讯,他目前因为涉嫌行贿和挪用公款等指控被单独关押在首尔看守所. 韩国总统朴槿惠上周五因为闺蜜干政丑闻正式离开青瓦台,而包括前总统顾问在内的多人都因为涉嫌腐败而成为被告. 但根据韩国的法律规定,在周一到周六的工作时段内,李在镕可以会见他律师团的任何成员,而不受时间和次数限制. 韩国特检组将此次针对李在镕的审判称作"世纪审判&q