【BDTC讲师】Hadoop之父Doug Cutting:Lucene到Hadoop的开源之路

Doug Cutting,凭借自己对工作的热情和脚踏实地的态度,开创了Lucene和Nutch两个成功的开源搜索引擎项目,同时也是当下人气大数据计算框架Hadoop的创立者。Doug于1985年毕业于美国斯坦福大学,首个在Xerox的实习工作奠定了他日后研究搜索引擎项目以及成功的基础。1997年底,Doug通过Lucene这个首个提供了全文文本搜索的开源函数库实现了理论到实践的巨大突破。在此基础上,Doug相继实现了Nutch 、Hadoop。为了自身梦想的实现,Doug先后就职于Architext和Yahoo!等企业,直至2009年出任Cloudera的首席架构师。

Lucene&Nutch

Lucene是第一个提供全文文本搜索的函数库,提供了一个简单而强大的应用程序接口,是一个高性能、可伸缩的信息搜索库。作为一个成熟免费的开源项目,Lucene在Java信息检索程序库中得到了广泛的欢迎。开发者不仅能利用它构建具体的全文检索应用,同时还能将其集成到各种系统软件中,它提供的很多API函数都能运用到各种实际应用程序中。

Nutch则是Doug在Lucene基础上将开源思想继续深化的成果,是一个真正的应用程序,它是建立在Lucene核心之上的Web搜索的实现,其目的旨在减少人们使用过程中的复杂度,并在花费很少的情况下配置世界一流的Web搜索引擎,实现开箱即用的特性。 站内索引和搜索推广到全球网络的搜索上,就像Google和雅虎一样。

Hadoop

Hadoop是Doug基于谷歌MapReducesystem开发的一个开源版本,是一种开源的适合大数据的分布式存储和处理平台,是当下新时代应用程序开发必备技能之一。Hadoop作为一个能够让用户轻松架构和使用的分布式平台,具有以下几个优点:

高可靠性 高扩展性 高效性 高容错性 低成本

Hadoop从最初应用的那一刻起就表现的异常出众,大大提高了网页搜索的速度。Doug的目标是将Hadoop发展成云计算领域的RedHat。纵观当下该计算框架所受到的关注度,Hadoop的成功已完全超脱了Doug的想象。

Doug可以说是云计算和大数据领域的传奇人物,他将高深莫测的搜索技术神奇般的变成了产品。然而,他的成功秘诀却并不神秘——对工作的热情和工作时的认真踏实。然而,正是这众所周知的品质成就了他的成功,也让几乎所有的人都直接或间接的使用过他作品。

在2014年12月12-14日北京召开的2014中国大数据技术大会(暨第二届CCF大数据学术会议)上正在邀请Hadoop之父Doug Cutting,希望能有机会带大家领略知名Hadoop公司Cloudera的最佳实践。

更多讲师和日程信息请关注2014中国大数据技术大会(暨第二届CCF大数据学术会议)官网。另,现在购买BDTC门票最高可享受1500元的折扣优惠,活动截止至10月17日。预购从速

免费订阅“CSDN云计算(左)和CSDN大数据(右)”微信公众号,实时掌握第一手云中消息,了解最新的大数据进展!

CSDN发布虚拟化、Docker、OpenStack、CloudStack、数据中心等相关云计算资讯,     分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、内存计算、流计算、机器学习和智能算法等相关大数据观点,提供云计算和大数据技术、平台、实践和产业信息等服务。

时间: 2024-07-29 09:33:04

【BDTC讲师】Hadoop之父Doug Cutting:Lucene到Hadoop的开源之路的相关文章

Hadoop之父Doug Cutting眼中大数据技术的未来

上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上.今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝. Doug Cutting成长史 1985年毕业于美国斯坦福大学的Cutting并不是一开始就决心投身IT行业的.在大学时代的头两年,Cutting学习了诸如物理.地理等常规课程.因为学费的压力,Cutting开始意识到,自己必须学习一些更加实用.有趣的技能.这样,一方面可以帮助自己还清贷款,另一方面,也是为自己未来的生活做打算

大数据应用还处于早期——专访Hadoop之父Doug Cutting

谈到大数据,对技术有点了解的人很容易想到Hadoop.的确,尽管Hadoop只是一个对数据进行存储和分析处理的平台,但仍有不少人把Hadoop和大数据对等起来.实际上,Hadoop的确在很大程度上扮演着大数据代言人的角色,它应用的广度和深度也基本反映了大数据市场的繁荣程度. 从有Hadoop之父之称的Doug Cutting推出Hadoop算起,这个分布式大规模数据处理平台面市已经超过10年历史.这些年来,Hadoop自身在不断进步,市场上也诞生了一批像Cloudera.MapR.Hortonw

对话Hadoop之父Doug Cutting|大数据和开源的未来

前言 对中国大数据产业来说,2016年是从垂直领域野蛮生长到爆发全国范围关注热潮的一个转折点.不论是人山人海巨头云集的贵阳数博会,还是首次在华举办的全球顶级大数据会议Strata + Hadoop World,都揭示了中国大数据产业发展的澎湃动力. 在Hadoop生态领域,Cloudera是规模最大.知名度最高的企业,也是当前大数据领域最强有力的解决方案服务商之一.带着对中国大数据市场的满满诚意,Cloudera创始人.董事长兼首席战略官Mike Olson以及Hadoop之父.Cloudera

12月12日Hadoop之父Doug Cutting学术报告和圆桌会议

问题描述 Hadoop之父.Apache软件基金会主席DougCutting本周五(12月12日)下午来清华访问,Doug在大数据系统架构设计,开源软件和社区这方面应该有很好的经验,欢迎大家来参加他的报告会(直接来就可以了),也欢迎大家亲自参加座谈.本次访问有两个环节.14:30--16:00清华大学FIT楼2楼多功能报告厅 演讲题目:"TheDataRevolution",演讲者:DougCutting 细节请看如下信息.16:00--17:30清华大学FIT楼3楼1-315会议室,

Hadoop之父Doug Cutting勾勒大数据平台的未来

Apache Haddo是一个批处理计算引擎,它是大数据核心的开源软件框架.Hadoop并不适用于真正实时数据可见性所需要的在线互动式数据处理,是这样的吗?Hadoop创造者兼Apache Hadoop项目创始人(同时也是Cloudera公司首席架构师)Doug Cutting表示,他相信Hadoop有一个超越批处理的未来. Cutting表示:"批处理有用武之地,例如你需要移动大量数据以及分析所有数据的时候,但我认为,人们真正想要的是批处理和在线计算的结合体.Hadoop将成为企业未来的主流数

不仅是开源,也是标准!访Cloudera Doug Cutting和凌琦

借英特尔& Cloudera数据分析媒体沟通会的机会,笔者对Cloudera这家在中国成立仅有18个月的公司进行了采访,Cloudera公司首席架构师,Hadoop之父Doug Cutting先生和Cloudera 大中华区总经理,公司副总裁凌琦先生接受了笔者的采访. 一.70%以上市场采用率 谈到这18个月以来Cloudera在中国的发展情况,凌琦先生表示,Cloudera中国公司于 2014年12月10日在上海成立,成立后的第三天就到北京参与了国内大数据大会,Cloudera公司首席架构师D

Hadoop创始人Doug Cutting谈未来大数据的技术

图为Hadoop创始人Doug Cutting Cloudera首席架构师就内存及云计算相关技术发表讨论,Hadoop将如何在大数据方面发挥更大价值. 在Doug Cutting十年前创建Hadoop架构的时候,他从未想过这会为企业界带来如此超大规模的计算."毫无疑问,我当初预想的情况比我们现在所看到的要稍微保守一些."他在近期伦敦的Strata+Hadoop World大会上说. 在今天,Hadoop被很多家喻户晓的名字使用,它帮助Facebook分析其每月超过16亿的用户流量,帮助

Hadoop之父勾勒大数据平台未来

"大数据不是炒作,也不是泡沫.Hadoop在未来将继续追随谷歌的脚步."Hadoop的创造者兼Apache Hadoop项目创始人Doug Cutting近日表示. 作为一个批处理计算引擎,Apache Hadoop是大数据核心的开源软件框架.有一种说法是,Hadoop并不适用于真正实时数据可见性所需要的在线互动数据处理.事实是这样的吗?Hadoop的创造者兼Apache Hadoop项目创始人(现任Cloudera公司首席架构师)Doug Cutting说:"相信Hadoo

Hadoop创始人Doug Cutting寄语2017:五种让开源项目成功的方法

搭建一个开源平台,组织就能利用云供应商套利来降低成本 由于Doug Cutting和Apache软件基金会有多年的合作关系,于是经常被问到"什么是开源技术的未来?".Doug的回应一般要么是"我不知道",要么是"有无穷的可能性". 在过去的一年中,我们已经看到开源技术强势的发展成了企业的技术主流.谁会想到十年前Doug在Hadoop所做的工作会影响到那么多的行业,从制造到电信,再到金融等等.它们都掌握了开源生态系统的力量,不仅改善了客户的体验,变