Hadoop World:中国企业崛起 开源贡献迅速攀升

8月4日,由O'Reilly和Cloudera共同举办的全球顶尖的大数据会议Strata+Hadoop World在北京召开。Strata+Hadoop World (SHW) 是世界最大的大数据盛会,它为各种技术提供了深度交流的机会,参会者在这里能看到最领先的技术、最广泛的应用场景、最有趣的用例教学,以及最全面的大数据行业和趋势探讨。

作为致力于聚集大数据领域最有影响力的产业决策者、战略专家、架构师、开发人员和分析师的国际性会议,从硅谷首次走进中国,旨在汇聚Hadoop生态最前沿科学与新兴商业基础的相互碰撞,共同打造产业和技术的未来。

SHW的演讲不仅涵盖了全世界大数据领域顶尖技术专家,同时还有各种大数据应用场景的经验介绍,包括金融、多媒体、零售、物流等。

我们现在的生活已经完全进入了信息化时代,可能所有人都间接用过Doug Cutting的作品,他是Lucene、Nutch 、Hadoop等项目的发起人。是他,把高深莫测的搜索技术形成产品,贡献给普通用户,同时还打造了目前在云计算和大数据领域里如日中天的 Hadoop。Doug Cutting现任Cloudera首席架构师,对于Hadoop在国内的推动,最近又有新进展。

清华大学数据科学研究院近日宣布与数据管理和分析平台Cloudera合作。在Cloudera CAP学术合作项目的支持下,清华大学和Cloudera将联合发布BASE (Big Analytics Skill Enablement)倡议,以期解决中国大数据行业的人才稀缺困境。

在合作项目仪式之后,笔者有幸对这位传奇人物Doug Cutting进行了采访,接下来让我们一起来听听创始人是如何解读Hadoop的吧。

Hadoop越来越重视安全

Hadoop如今已经成为开源的代名词之一,其应用范围也非常之广,但安全方面一直饱受争议。据Doug介绍:其实十年前在Hadoop创立的时候是没有做安全这块的,但是我们后来不断的加强对安全模块的研发,现在Hadoop也成为了非常安全的平台。

首先,Hadoop在登录安全方面已经做了增强,可以确保登录的人群是有着合法认证的。另外在文件层面也有安全保护,可以做到某一个栏或者某一个表格都只有一部分人能登录,经过认证的人能看到,其他没有权限的人看不到,所以这种权限管理和登录认证管理,还有文件保护管理都做得非常好。

动态保护方面,在网络上进行数据传输的时候也会有数据加密,通过数据加密的方式保护正在传输中的数据不会有泄密或者是安全的漏洞。而且Cloudera也在不断的研发新技术,对于Hadoop这个平台有层出不穷新的部分加入进来。

  与高校合作推动开源发展,培养更多人才

在高校合作方面Cloudera也是早有建树,据Doug介绍:我们在海外也跟很多大学在展开合作,这些合作的名单非常长,包括美国的大学,包括新加坡的大学还有亚洲其他国家大学,也包括欧洲的一些大学和研究机构。

合作的主要形式就是提供免费的课程,这些全套免费的课程Cloudera开发了很多年,免费提供给这样的大学共同展开合作。Cloudera在中国选取的第一个合作方是清华大学,今后还将会与更多的中国大学展开合作。

Doug Cutting亲自印证,国内企业对开源贡献非常多

最近一段时间笔者重点听了很多著名国内企业技术人员的演讲,他们大都会提到对开源社区的代码贡献。但实际情况到底如何呢?这个问题甩给Doug最好不过了。

Doug表示:中国的企业确实为整个Hadoop的开源社区做了大量的贡献,例如华为。华为很多年一直参与到Hadoop的开发,也贡献了很多,像阿里巴巴、腾讯包括一些大的中国互联网企业,他们都是Hadoop的使用者,同时也是Hadoop技术的贡献者,中国企业确实贡献非常多。

关于Hadoop开发包含两个层面,一个是Hadoop这个项目本身,第二就是围绕Hadoop的中心有很多其他组件进行开发。比如Linux,提到的不仅仅是内核,除了Linux内核以外还有很多其他应用软件运行在Linux之上,Hadoop也是如此。目前90%的Hadoop软件都是运行在Hadoop系统平台之上的,它来自Hadoop平台之外的开发。比如一些美国开发的软件是隶属于Hadoop整个生态体系之内的,相信越来越多开发者虽然不是直接来自Hadoop,但是在整个生态系统环境内Cloudera会打造一个非常丰富的生态系统,让更多的参与者能够进行开发。

Cloudera的模式之所以成功,也是基于Cloudera自身特点的,但对其他的开源厂商并非合适。Doug Cutting最后表示:每家公司都要去探索最适合自己的路和商业模式。我们也拭目以待看下一个十年会出现哪些商业模式。

本文作者:云中子

来源:51CTO

时间: 2024-10-11 05:37:52

Hadoop World:中国企业崛起 开源贡献迅速攀升的相关文章

世界500强新看点金融危机是中国企业崛起契机

■本报记者 廖鸿翔 世界500强只是一个概念,尽管中国企业更多地参与到这个全球财富竞争力排行榜,但在虚火背后,我们必须清醒地认识到,仅仅依靠垄断取得的排名显示我们与国际巨头的巨大差距.但另一方面,财富榜单的缩水也给了我们机会,全球金融危机的余波未平,跨国公司发展遇阻,给了中国企业一次接近的机会,把握好了,或许我们就能真正常驻500强的榜单. 中企逆势500强新看点 全球金融危机的威力清清楚楚地写在<财富>杂志500强榜单上.8日,<财富>杂志的公布的全球500强企业榜单.2008年

印度频频为难中国企业华为中兴扩张计划受考验

印度政府对中国电信设备企业实施新的禁令,"国家安全"只是它的一个借口,实质上是为消除中国企业崛起在印度市场所引发的恐慌 <IT时代周刊>记者/杜 舟(发自新德里) 9月22日,据印度媒体报道称,印度政府目前正在对中国电信设备商发布新的禁令,并称这些企业的设备威胁到印度的国家安全.此举意味着华为.中兴在印度的扩张,将会受到牵连. 与以前的各类打压政策相比,这次印度提出的"安全威胁"有所升级,不仅召开了专门的运营商大会,还将规范对象从国有电信运营商扩展到私营

中国企业安全市场崛起了一股“新”力量

ZD至顶网安全频道 01月15日 南京: 在2015年9月亚信科技宣布并购趋势科技中国后,酝酿了几个月的时间,重新整合后的亚信安全今日首次在500多家渠道合作伙伴面前亮相.春节前的IT渠道会并不多,亚信安全提前召开2016合作伙伴峰会,已迫不及待的向渠道宣布并购后的最新合作伙伴发展战略,给市场吃一个定心丸. 在合作伙伴峰会现场,可以明显的感受到新组建的亚信安全团队对于未来在中国的安全市场的生意充满信心.同时,亚信安全也宣布新的渠道策略和趋势科技时代并不会产生很大变化,并且在原有策略基础上,亚信安

高盛解读:中国人工智能崛起,BAT领头,百花齐放

什么是AI?AI,人工智能,是一门使用计算机来模仿人类智能行为的学科.什么是机器学习?机器学习是AI的一个分支,让计算机能够不需要特意编程就能从数据中学习.什么是神经网络?AI中所指的神经网络是一类仿照人类大脑的计算机架构,AI的程序都建立在此架构上.什么是监督学习... 最近,高盛发布了一份题为<中国在人工智能中崛起>的报告. 这份报告讲解了中国的人工智能创造价值的主导因素,并全面剖析了BAT三家公司在AI中的优势和布局.除了BAT,高盛还想读者介绍了美图.滴滴.科大讯飞等第二梯队的公司在人

高盛:中国AI崛起 BAT是最大受益者

近日,高盛集团发表了一篇名为<中国人工智能崛起>的研究报告,称中国在利用人工智能推动经济发展方面,已经成为全球的主要竞争者.而BAT在这场洪流中将是最大的受益者. 高盛表示,中国政府拥有资源,并自上而下制定了一份雄心勃勃的计划,在未来几年内创造一个由AI和机器学习驱动的智能经济. 据悉,早在今年7月份,中国国务院就发布了<新一代人工智能发展规划>(以下简称<规划>),<规划>中称,2030年中国要成为全球主要的人工智能创新中心.预计在2030年,中国人工智能

赵文银:云计算革命与中国科技崛起的机会

尽管直到现在,仍然没有人能够回答"李约瑟难题",但是从李约瑟研究所所长古克礼转述李约瑟临终前的观点里,仍然没有失去对中国的信心."李约瑟先生透过他多年来对中国以及中国人的了解,他确信中国能够再度崛起,一个拥有如此伟大的文化的国家,一个拥有如此伟大的人民的国家,必将对世界文明再次做出伟大贡献." 人类的科技革命是通过逻辑的组建来实现的,而组建逻辑的过程是在虚拟世界里完成的.在计算机出现之前,人脑是唯一创建虚拟世界的装置.但是现在,计算机.互联网无限扩大了人脑虚拟世界的

中国企业赴美最大一笔IPO来自 去哪儿 网

2011年以来中国企业赴美最大一笔IPO来自去哪儿网.这家中国最大的在线旅游搜索网站于2013年11月1日在纳斯达克上市,首日开盘价28.35美元,较发行价上涨89%,当日最高成交价34.99美元,按照收盘价格,去哪儿总市值约为34亿美元. 过去三年间,这家公司业绩增长迅速,年均复合增长率为101%.2013年上半年,去哪儿网总收入为3.6亿元人民币,其中88%的收入来自点击付费模式.尽管如此,2010年-2011年去哪儿仍累计亏损1.5亿美元. 一家没有利润.营收只有同行携程的七分之一的公司,

中国企业私有云“试水期”已过,OpenStack领域将有哪三大创业红利?

摘要:中秋节前,国内一家OpenStack公司在一天之内赢得五个私有云大单,中国的私有云市场正在迎来拐点,而这背后还有新三大创业红利. EasyStack 创始人兼 CEO 陈喜伦 "昨天晚上九点半离开办公室的时候,当天还只中了三个单子,一走到停车场就收到又中了两单的消息,赶紧回公司发红包." 国内 OpenStack 公司 EasyStack 创始人兼 CEO 陈喜伦在中秋节前一天见到记者时很兴奋.据这位创业者的经验,"同比去年,今年下半年用户对 OpenStack 的需求

成长:新中国企业和企业家精神的60年

新中国企业和企业家精神的60年,如果用一个词来总结,就是成长.这既是公司不断长大的过程,也是不断与变化中的经济体制纠结的过程. 采访|CBN 记者 杨晓宇 整理|实习记者 王佩莉 C: 1949年新中国成立时,中国企业是一种怎样的状态? W: 1949年中国工业的规模基本上和抗战前后差不多,1949年的时候可能还更差,比如说很多铁路.电话线.航运线都不通了.这是一个基本的判断.第二个判断就是,其实1949年国有资本在当时是很强大的.第三,1949年的时候我们国家主要的工业是集中在东北.有一个数据