董西成:Hadoop将在高速发展和完善中扩大优势!

  目前Hadoop发展迅猛,尤其是Hadoop 2.0出现后,HDFS和YARN两个系统均有多个重大特性得到了实现,进而推动了上层计算系统的发展,包括Tez的出现使得Hive和Pig有了更大的性能提升,出现了各种基于YARN的新型框架等。

  2014年05月20日,CSDN携手ChinaHadoop小象社区将打造一场涵盖分布式在线存储系统HBase、数据仓库Hive、Hadoop在电信运营商的应用实践等内容的“Hadoop在企业中的应用实战”高端技术培训。

  在本次培训开始前,我和本次培训的讲师董西成做了一次简单的沟通,他表示将会在5月20日“Hadoop在企业中的应用实战”和大家分享分享一些Hadoop一些典型的应用案例,主要包括HDFS、YARN和MapReduce三个系统,包括产生背景、基本的架构及使用方法,典型的应用案例等。

  以下是记者采访原文:

  -什么原因吸引你钻研Hadoop技术?

  我最初开始研究Hadoop是在研究生阶段。当时刚进入实验室做项目,第一个项目就是Hadoop优化相关的,之后Hadoop一直伴随着我,它的开放性、架构设计巧妙、参与者众多、更新速度快等优点吸引着我,是我一直持续研究Hadoop的动力。目前绝大部分互联网公司在使用Hadoop,它已经成为一个“公共标识”或者“公共语言”,让不同背景、不同经历的技术人员饶有兴致地交流和沟通,且在交流中一起成长,一起收获成就感。

  -对于解决哪些问题Hadoop独具优势?

  目前Hadoop已经涵盖了大部分互联网应用场景,尤其是Hadoop YARN出现之后,很多系统可以跟Hadoop友好地结合起来,共同完成之前难以完成的任务。总起来说,目前Hadoop涵盖了从数据收集、到分布式存储,再到分布式计算的各个领域,在各领域都有自己独特优势:

  数据收集:Hadoop提供了分布式收集工具,包括Flume、Sqoop等,可以从分布式离散的数据源(WEB服务、传统关系型数据库等)中收集数据,导入中央化的存储系统中。

  分布式存储:包括无结构化存储HDFS、半结构化存储HBase等,满足大部分离线存储和在线存储需求,随着HDFS本身的完善(比如新特性HDFS Cache、支持异构存储介质等)和新型存储文件格式的出现(包括ORCFile、Parquet等),HDFS将越来越强大。

  分布式计算:在Hadoop 1.0时代,Hadoop主要还是面向离线批处理计算的,随着Hadoop 2.0的出现及稳定,它已经逐步开始支持交互式计算和实时计算,尤其是Hadoop YARN出现后,可以允许多种类型的计算任务运行在一个集群中,用户也可以根据自己需要开发适合自己的计算框架。总之,Hadoop在高速发展和完善中,它在不断扩展自己的优势。

  -目前企业应用Hadoop最大的困难是什么?

  不同类型的企业遇到的困难不一样,对于一些中小型互联网公司由于它们的Hadoop技术人员数量有限,当需要运维Hadoop生态系统中多个系统且要对它们进行升级时,会遇到较大的困难。这主要是Hadoop更新速度过快,会不断有新特性和新功能出现,而这些新特性和功能往往缺乏文档说明,通常需要平台维护和开发人员通过追踪代码了解新增特性的实现细节和配置方法,这是一件极具挑战和极耗精力的事情。

  对于传统非互联网公司,它们遇到的困难可能有:

  根据自己的应用类型选择相应的Hadoop解决方案 。

  如何将现有架构迁移到Hadoop上 。

  如果之前使用的商用软件替换为Hadoop后,自己如何维护和管理Hadoop等。

  -根据您的了解,目前Hadoop发展的情况如何?

  目前Hadoop发展迅猛,尤其是Hadoop 2.0出现后,HDFS和YARN两个系统均有多个重大特性得到了实现,进而推动了上层计算系统的发展,包括Tez的出现,使得Hive和Pig有了更大的性能提升,出现了各种基于YARN的新型框架等。

  -请谈谈你在这次Hadoop培训上即将分享的话题。

  在这次Hadoop培训上,我主要分享一些Hadoop基础知识和一些典型的应用案例,主要包括HDFS、YARN和MapReduce三个系统,介绍这几个系统的基础,包括产生背景、基本的架构及使用方法,典型的应用案例等,当然,还会介绍它们最近发展动态和趋势,对于把握Hadoop技术发展趋势有一定指导作用。

  -哪些人群应该来参加本次培训?会对他们有哪些帮助?

  这次培训主要面向正准备试用Hadoop的公司和Hadoop初中级学者。该培训可以为那些想了解Hadoop是什么、可以做什么、有哪些成功案例的人群,在Hadoop技术选型、Hadoop技术架构设计特点、Hadoop应用等方面给予指导。

  原文链接:http://www.csdn.net/article/2014-04-28/2819523-Hadoop-ChinaHadoop

时间: 2024-11-08 22:44:21

董西成:Hadoop将在高速发展和完善中扩大优势!的相关文章

柏林电影节昨开幕缺席的伊朗导演帕纳西成焦点

贾法-帕纳西 贾法-帕纳西的电影<越位> 贾法-帕纳西的电影<深红的金子> 早报记者 朱洁树 编译 清冷的寒风中,柏林街头到处布置着柏林电影节的"B"字形广告.波兹坦广场的几家电影院里,购票者排起了长龙.第61届柏林电影节当地时间昨晚启幕. 今年的柏林电影节期间,参加者每时每刻都能感受到伊朗导演贾法·帕纳西的存在,各个单元都将放映帕纳西的电影,而在2月11日,伊朗革命周年纪念日当天,电影节将放映帕纳西最著名的<越位>.相比去年电影节六十大寿时的奢华排

汇编语言-sub指令 到底会不会转成加法算,还是在机器中算减法

问题描述 sub指令 到底会不会转成加法算,还是在机器中算减法 困惑求解答,为了减法运算,机器中都用补码表示数了,那为什么还用减法的指令. 如此题:SUB?AL,BL.AL=80H,BL=80H.在机器中是怎么算的?直接减还是再变成补码然后算加法. 溢出标志和进位标志是什么? 解决方案 当然不会.在计算机中,有sub指令.当然不会被编译器转换为add. 但是现代cpu内部,使用了微指令编程,不排除在某些cpu内部,加法指令和减法指令公用了相同的晶体管电路. 解决方案二: 一般的芯片都有加法指令,

android开发-如何用Android Studio将源码打包成AAR文件,并且AAR文件中包含源码

问题描述 如何用Android Studio将源码打包成AAR文件,并且AAR文件中包含源码 如何用Android Studio将源码打包成AAR文件,并且AAR文件中包含源码.类似与jar文件打包后可以看到源代码一样. 解决方案 android studio本地引用aar打包文件(.aar)Android studio 打包aarandroid studio 把源码和资源文件一起打包生成aar包

sql-如何把SQL里的true和flash值转换成是和否显示在网页中?

问题描述 如何把SQL里的true和flash值转换成是和否显示在网页中? 如图,应该写什么?在哪写?求大神指教! 解决方案 标题打错了.是true和false~ 解决方案二: 在页面写啊,判断那个值如果是true就 是 false就否 解决方案三: 直接判断啊 if(flag==true){ ... }else{ ... } 解决方案四: 同上 或者在后台处理 好了返回给前台也一样 解决方案五: 直接写个判断,true就该某个位置的text为是,反之为否 解决方案六: SQL语句中试试用ToC

hadoop下的存储在hdfs中的视频文件怎么播放?

问题描述 hadoop下的存储在hdfs中的视频文件怎么播放? hadoop下的存储在hdfs中的视频文件怎么播放?可以直接拿到视频文件的http路径吗,我现在想实现的是像百度云这样的可以在线播放,但是不知道怎么得到文件的路径,而hdfs提供的API只有上传下载文件这些,对于这样的问题要怎么解决呢?? 解决方案 你需要用HDFS API来获取 package org.myorg.hdfsdemo; import java.io.BufferedReader; import java.io.IOE

基于JavaScript将表单序列化类型的数据转化成对象的处理(允许对象中包含对象)_javascript技巧

表单序列化类型的数据是指url传递的数据的格式,形如"key=value&key=value&key=value"这样的key/value的键值对.一般来说使用jQuery的$.fn.serialize函数能达到这样的效果.如何将这样的格式转化为对象? 我们知道使用jQuery的$.fn.serializeArray函数得到的是一个如下结构的对象 [ { name: "startTime" value: "2015-12-02 00:00:

诺西张志强:出售深圳中心为完善研发

诺基亚西门子中国区总裁张志强 腾讯科技讯(郭晓峰)1月30日消息,诺基亚西门子(以下简称诺西)中国区总裁张志强在今日上午的财报电话会议中首次回应了"诺西深圳研发中心出售"事件,其表示,出售该中心并不代表诺西在 中国市场的缩减, 而是通过和外包商的合作进一步完善研发链环节,这样有利于整体研发提升.中国仍是诺西全球最重要市场诺基亚周四公布了其2010年第四季度财政报告.据财报显示,诺西第四季度净销售额达39.61亿欧元,较 2009年的36.25亿欧元增长9%,较上一季度的29.43增长3

英特尔:中国成Hadoop发展主力

近日,任职于英特尔数据中心软件部的大数据产品高级顾问黎超先生表示,业内认为Hadoop对整个X86的发展会是一次重大的机会,鉴于英特尔是Apache主要贡献者之一,同时又希望能利用在软硬件方面的投入,能够使得Hadoop更容易走向传统行业,而并非仅仅局限于互联网行业. 另外,在英特尔看来,中国市场也是Hadoop发展的重点所在.因为长久以来,中国市场向来就是英特尔的第一大市场,因此英特尔将其Hadoop核心研发团队就完全设在中国上海,目的就是更好的去服务于我们本地的客户. 显而易见的就是,大家现

葛文耀请辞获批上海家化独董张纯成代理董事长

就在 "家化风波"逐渐平息之际,此前曾公开表示希望再干两三年的葛文耀却在9月17日突然提前请辞,令业界震惊.而上海家化(600315,收盘价48.35)今日发布公告称,前董事长葛文耀的退休申请已正式获董事会批准,董事会选举独立董事张纯为代理董事长.业内人士认为,虽然目前上海家化旗下品牌布局看似完美,实则荆棘密布,公司发展急需强有力的中枢指挥系统.另外,因为葛文耀的离职,不排除公司管理层短期仍将大幅动荡,公司未来命运难料.家化教父请辞获批上海家化公告表示,公司董事会接受葛文耀9月17日提