谷歌弃用 MapReduce, 推出替代品 Cloud Dataflow

谷歌在周三发布了 Cloud Dataflow，一个用来既可以使用流式处理又可以使用批处理模式的大数据分析服务。

这个消息是在旧金山举行的谷歌 I/O 大会上公布的。它帮助完成了搜索巨头的云计算格局，为了对抗亚马逊的网络服务而一直在添加新功能。

谷歌高级副总裁乌尔斯·霍泽尔简要介绍了 Dataflow，并演示了一个围绕处理推特上的数据和世界杯人气的 demo。Dataflow 是介绍的一系列云服务里的头条。

霍泽尔说谷歌内部已经使用 Dataflow 替代了 MapReduce（MapReduce 已停用好些年了）。Cloud Dataflow 被设计成流式分析任意大的数据集。

“Cloudflow 处理整个数据流，而MapReduce 处理单一的流”，他说道。

总的来说，谷歌的 Cloudflow 将对抗亚马逊的数据托管网络服务 Amazon Redshift 以及使用 hadoop 来处理大数据的弹性云服务 MapReduce。

Cloud Dataflow能创建数据管道，在批处理和流处理模式下摄取、转变和分析数据。Cloud Dataflow可以降低运营开销，更容易的从数据中获取到可行的见解。（Solidot）

时间： 2024-10-11 10:08:28

谷歌弃用 MapReduce, 推出替代品 Cloud Dataflow的相关文章

Google停用MapReduce，高调发布Cloud Dataflow

Google已经停用自己研发的,部署在服务器上,用以分析数据的MapReduce,转而支持一个新的超大规模云分析系统Cloud Dataflow. MapReduce一直是服务器集群上做并行分布式计算的一个非常受欢迎的基础架构和编程模型.它是被广泛部署并已经成为很多公司商业产品的大数据基础架构平台Hadoop的基础. 但是近日,这项技术已经不能处理谷歌想要分析的大量数据.技术基础设施部高级副总裁UrsHölzle表示,一旦数据规模达到数PB级字节,处理起来将变得非常困难. "我们已经不再使用

近来百度和谷歌接连的都推出网盘服务，进军云存储领域

云存储带给我们的两大好处,一是再也不用拿着U盘在各个电脑之间将工作文档拷来拷去,麻烦不说还容易传染病毒,用网盘工具往自己的免费空间一丢,所有支持的平台都能见到它的踪影:第二就是,不管泰国再发多大洪水,硬盘多缺货,我们也都有能够暂时保存资料的一亩三分地儿,而且还不收钱~~ 近来百度和谷歌接连的都推出了自己的网盘服务,进军云存储领域,搜索巨头带给我们的云存储能有什么整合自己看家本事.或者实惠更多的服务呢?今天我们就先来拿刚刚在百度开发者大会上推出.并且还在邀请测试阶段的百度网盘来看个究竟. (责任编

谷歌钱包或明日推出产品仍有局限性

视频中的谷歌钱包网易科技讯 9月19日消息,据国外媒体报道,谷歌上周发布了谷歌钱包的广告视频,意味着谷歌钱包终于将很快推出.消息人士称,谷歌钱包最快将于将于9月19日(美国时间)推出.早在5月份谷歌钱包和谷歌团购(Google Offers)最初亮相时,谷歌就表示,谷歌钱包的现场试验将立即启动,并将在今年夏天正式推出.最初将推出时间定于9月1日.从技术角度上讲,美国夏季时间到9月22日为止, 所以距离谷歌推出谷歌钱包的最后期限只剩几天的时间.虽然这将是谷歌钱包的正式推出,但该产品本身

消息称谷歌将于年内推出音乐下载服务

中介交易 SEO诊断淘宝客云主机技术大厅 6月22日消息,据国外媒体报道,消息人士今天透露,谷歌正准备在今年晚些时候推出一项捆绑于其搜索引擎的音乐下载服务,并计划在2011年推出基于云计算的收费服务. 知情人士称,尽管目前谷歌正与音乐行业进行协商,但该计划的前景仍不明朗,现在不能确定该公司是否已经与唱片公司达成任何协议.据悉,谷歌一直都在加强谈判,希望能为Android手机带来新的音乐服务.但知情人士称,谷歌的音乐下载商店需要几个月以后才能上线. 谷歌与音乐公司协商之际正值该公司寻求加强音

谷歌或在第三季度推出Android 5.0果冻豆

据外国BGR网站报道,谷歌将在今年的第三季度才会推出Android5.0JellyBean(果冻豆)系统,而之前的消息则是在第二季度发布Android 5.0.目前已经公布的最新系统是谷歌Android4.0 IceCream Sandwich(冰淇淋三明治),虽然提供了不少新功能,但貌似个大厂商都对Android 4.0系统积极度不高,导致目前市场占有率依然不能跟上进度.如果确定谷歌将在第三季度推出Android 5.0,那么Android 4.0将被彻底舍弃吗?

谷歌在近日的推出的Google Drive受到了用户的广泛关注

谷歌在近日的推出的Google Drive受到了用户的广泛关注,其下载量在一天之内就突破了500万.但是,此次Google drive的某些使用协议并不像人们想象的那样"只是些废话",而是对用户上传内容的使用权做出了一些"诡异"的规定,我们先来看一下原文: 原文: "When you upload or otherwise submit content to our Services, you give Google (and those we work

Adobe正式在中国市场推出Creative Cloud创意应用软件

11月10日午间消息,Adobe正式在中国市场推出Creative Cloud创意应用软件. Adobe Creative Cloud创意应用软件将最新版本的 Adobe 创意应用软件(包括 Photoshop.Illustrator 和 InDesign)带到了用户身边,用户可以自行决定其部署方式和时间. 自 Adobe Creative Suite 6 发布以来,Adobe官方已增加 1000多种新功能,旨在提高生产力.支持最新的标准和硬件,并简化日常任务. Creative Cloud创意

谷歌将于明年推出数字图书销售平台

北京时间10月15日晚间消息,据国外媒体报道,谷歌公司一名经理透露,该公司将会在明年推出一个新平台,读者可以通过该平台购买数字图书.一旦购买,读者可以通过网络随时随地下载.并可以使用多种工具阅读. 汤姆-特维是"谷歌图书"(Google Books)北美.南美.亚洲合作伙伴计划负责人,15日表示"将打造使用户能够在线购买图书的平台".在第61届法兰克福书展上,汤姆-特维表示,这个被称为 Google Editions 的新平台,将会在明年上半年先在美国.英国和欧洲国

谷歌Panda算法正式推出 SEO工作者需要做的转变

大家好,我是木子成舟.三月份的时候谷歌的Panda算法就传的沸沸扬扬,当时我就写过一篇文章<谷歌Panda算法更新站长该如何应对>提出了自己对于谷歌Panda算法的理解和对大家的一些简单建议,4月24日谷歌的Panda算法正式推出,其中内容着重要求大家做好白帽SEO,不要使用针对搜索引擎漏洞的黑帽SEO,为用户提供高价值丰富的内容和用户体验,提高网站的质量和可用性,并让网站更具吸引力,更具营销性.当然这次算法更新主要是针对垃圾网站的一个算法调整,目的是为了减少垃圾网站,并更好地推荐高质量的内容