Google获得MapReduce专利

  在将近六年等待之后,Google的一个专利申请近日终于获得批准。这个编号为7 650 331,名为 System and method for efficient large-scale data processing(高效大规模数据处理)的专利可是非同小可。它所指的是Google最引为自豪的成果之一,也是云计算最重要的核心技术之一:MapReduce。专利的摘要是这一重要技术不错的定义,我们不妨来学习一下:

  A large-scale data processing system and method includes one or more application-independent map modules configured to read input data and to apply at least one application-specific map operation to the input data to produce intermediate data values, wherein the map operation is automatically parallelized across multiple processors in the parallel processing environment. A plurality of intermediate data structures are used to store the intermediate data values. One or more application-independent reduce modules are configured to retrieve the intermediate data values and to apply at least one application-specific reduce operation to the intermediate data values to provide output data.【译文】一种大规模数据处理系统和方法。其中包括一个或者多个独立于应用的Map模块和一个或者多个独立于应用的Reduce模块。 Map模块是这样配置的,它们读取输入数据,并对此数据进行至少一个特定于应用的Map操作,以生成中间数据值,其中Map操作将在并行处理环境中的多个处理器实现自动并行化。存储这些中间数据值将使用许多中间数据结构。而Reduce模块是这样配置的,它们获取这些中间数据值,并对此数据应用至少一个特定于应用的Reduce操作,以提供输出数据。

  众所周知,MapReduce广泛用于各种数据挖掘应用中,除了Google自己,还有Yahoo的搜索基础设施,Amazon的Elastic MapReduce服务,IBM的M2平台,等等。当然,最重要的实现应该是开源项目Apache Hadoop。事实上,Hadoop已经成为Yahoo整个Web基础设施的核心,用户还包括Facebook、Last.fm、Joost、 Meebo、Ning等2.0新贵和《纽约时报》网站、Rackspace等云计算公司。

  那么,问题出来了:首先,Google是否应该获得这项技术的专利呢?

  的确,回顾历史,Map和Reduce函数是Lisp和其他函数式语言非常常见的特性。而Lisp语言诞生于上世纪50年代。事实上MapReduce的发明者也不讳言这一点。在2004年操作系统设计与实现学术会议上发表的开创性论文《MapReduce: Simplified Data Processing on Large Clusters》(MapReduce:大型群集上的数据处理简化)中,除了Lisp语言之外,Jeffrey Dean和Sanjay Ghemawat还提到了Bulk Synchronous Programming、MPI、Active Disk、Condor系统、NOW-Sort算法、River系统、BAD-FS、TACC等等。但是,任何创新都不是从无到有的,这些相关工作总体上只是相关而已,将MapReduce思想应用于大型群集上的数据处理,并形成完整的框架,有大量成功的应用,的确是Google的独门武功。

  其次,这样一个应用广泛的技术成为专利,影响如何呢?

  必须承认,在专利纠纷满天飞的今天,使用其他人的专利,总是存在诉讼风险。对此,Google的发言人用了法律味道很重的措辞回复:

  与其他负责任的创新公司一样,Google会对自己开发的各种技术申请专利。虽然我们不会对这项专利以及我们其他的专利技术的使用进行评论,但是我们感到迄今为止Google的表现与公司的价值观和优先级是相符的。

  听其言,观其行,我们也许有理由对Google放心。毕竟,在可见的未来,它不会指望靠这种专利挣钱。此外,Google对Hadoop项目一贯支持,将其作为大学推广项目的重要组成部分,使大学生也能在不涉及Google专有技术的情况下,学习Web规模的编程。

  【人物简介】

  Jeffrey Dean Google Fellow。2009年当选美国工程院院士。他是Google公司最具才华的工程师之一。众多Google的核心产品都有他的重大贡献,包括设计和实现了Google广告服务系统的最初版本,Google爬虫、索引和查询服务系统的五个版本,Adsense最初版本,Protocol Buffers,Google News的服务系统,MapReduce,BigTable,等等。当然,也包括搜索排序算法的许多方面,Google Translate和Google Code Search的部分开发。

  1996年获得华盛顿大学计算机科学博士学位,课题是面向对象语言中的全程序优化技术。1990年毕业于明尼苏达大学,获得计算机科学和经济学学士学位。1999年加入Google之前,曾效力于DEC研究中心。本科毕业后曾经在世界卫生组织艾滋病项目工作,开发了艾滋病传染的统计建模、预测和分析软件。

  他的一个人生目标是在所有大洲打篮球和橄榄球。

  Sanjay Ghemawat Google Fellow。美国工程院院士。MIT博士(1995年),是图灵奖得主Liskov的学生。他与Jeff Dean合作开发了MapReduce和BigTable,另外还是GFS的主要开发者。1999年加入Google之前,也效力于DEC,从事Java工具(性能测量、虚拟机和编译器)开发。

时间: 2024-09-27 00:21:15

Google获得MapReduce专利的相关文章

Google 微软达成专利和解,协议包含 Android

微软和 Google 发表联合声明,宣布和解所有专利诉讼案, 撤回包括摩托罗拉移动在内的相关专利诉讼请求,同意在特定专利问题上展开合作,并期待在其它领域进行合作.两家公司没有披露和解协议中的财务条款.和解协议包含了 Android.视频和网络相关专利,目前不清楚微软是否放弃了 Android 专利或者是 Google 为微软持有的 Android 专利支付一笔费用.微软每年获得的 Android 专利授权费据信高达34亿美元. 文章转载自 开源中国社区[https://www.oschina.n

Google与北电专利收购协议获法院批准

北电网络本周一表示,Google以"掩护马"方式竞购北电专利资产,价格9亿美元,此事已经获得法院的批准.所谓掩护马协议,即在与第一个候选买家达成交易之前,留出规定的时间,给其他买家出价竞争的机会.最终能否成交,则视出价高低和法庭最终裁决为准. 合格的竞购者如果想夺标,必须在6月13日前提交申请,拍卖会将于6月20日举行.获胜者还须征得美国和加拿大法院的批准. 在此之前,北电将旗下资产分拆出售,以获得数十亿美元支付给债权人.北电已经表态说,普通股东.或者持有北电网络优先股的股东无法获得补

11家Android开发商遭专利诉讼 Google拔刀相助

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 北京时间8月14日消息,据国外媒体报道,最近,美国一家公司起诉11家Android第三方应用软件开发商,称其侵犯自己的应用内部支付专利,Google卷入其中,这是Google第一次帮助Android开发商打官司. 据悉,此案原告是美国一家名为Lodsys的公司,目前其状告11家智能手机软件开发商侵犯两项专利,专利号分别是7,222,078和7

明年Google五件大事:专利诉讼和Chrome前进

中介交易 SEO诊断 淘宝客 云主机 技术大厅 北京时间12月28日消息,明年,Google的一些大事会在法院和政府办公室发生.目前,Google正遭遇美国和海外监管机构的调查,它涉嫌滥用自己在搜索上的强势地位. 因此,尽管Google不断改进搜索引擎,推进新兴业务,比如Google+,但监管机构.立法者.法院仍然会在Google的未来发展上扮演重要角色.下面是CNET列出的Google 2012年要注意的五件事: 1.美国和欧盟的反垄断裁夺 不论是在美国,还是在美国之外,监管机构都紧盯Goog

Google申请按新闻质量排列搜索结果作专利

         根据路透社5月5日获得的专利申请文件,网络搜索业佼佼者Google Inc.已就它根据新闻来源品质排列其网站新闻顺序的技术,申请美国和国际专利.        Google搜索引擎目前自动检索约4,500个新闻来源,并凸显重要新闻,而这通常是根据受欢迎程度和时效性,不过该公司并未透露这套排序系统的完整细节.        业界观察者称,随着时间推移,Google News的内容已更加依赖知名度较高的新闻供应商.        一名Google发言人证实,该公司已申请上述专利,不

Google和LG达成十年专利交叉授权协议

摘要: LG官方今天凌晨宣布和Google达成了一项专利交叉授权协议,协议的有效期长达十年.这些专利主要涉及技术与产品领域. Google的首席法律顾问助理Allen Lo表示:这项长期的专利交叉授权 LG官方今天凌晨宣布和Google达成了一项专利交叉授权协议,协议的有效期长达十年.这些专利主要涉及技术与产品领域. Google的首席法律顾问助理Allen Lo表示:"这项长期的专利交叉授权协议有助于双方合作,专注于向全球消费者提供最好的产品"."专注"一词毫无疑

Google新专利:集平板与笔记本于一体

硬件玩 上瘾的Google很可能会发布另一种混血设备,将笔记本与平板整合为一体,可以旋转,滑动,翻转,搭载的系统也能自动处理硬件的变幻,比如切换到笔记本的时候,触摸屏自动失效,切换到平板的时候,键盘自动失效.这些功能在Google新申请专利中都有描述,但Google表示这样可能在输入结果显示的时候,速度和准确性不是太理想.为了解决这个问题,Google就做了一个显示屏,既可以用作普通的笔记本显示屏,也可以前后平滑,还有一个双轨系统,一个特殊铰链和简单套子,触摸屏可以围绕一个点进行旋转(参照头图)

《R与Hadoop大数据分析实战》一2.1 MapReduce基础概念

2.1 MapReduce基础概念 如果没有使用过集群或信息传递接口(Message Passing Interface,MPI),那么理解MapReduce基础概念将不会是一件容易的事.更多的实际应用是数据不存放在一个硬盘中而是存放于分布式文件系统中(Distributed File System,DFS),或存放于由Hadoop技术实现的分布式软件中.MapReduce同时也是一个编程模型,它以一种分布式方法进行工作.其中包括信息传递接口(MPI)和同步并行计算模型(Bulk Synchro

快速理解MapReduce

1 什么是MapReduce? Map本意可以理解为地图,映射(面向对象语言都有Map集合),这里我们可以理解为从现实世界获得或产生映射.Reduce本意是减少的意思,这里我们可以理解为归并前面Map产生的映射. 2 MapReduce的编程模型 按照google的MapReduce论文所说的,MapReduce的编程模型的原理是:利用一个输入key/value对集合来产生一个输出的key/value对集合.MapReduce库的用户用两个函数表达这个计算:Map和Reduce.用户自定义的Ma