Google、IBM、Oracle意图分羹云计算大数据市场

少数公共云计算服务供应商(如Google公司、IBM公司、微软公司以及Oracle公司)正从Amazon 网络服务(AWS)中得到启示,并已涉足“大数据”分析领域和多方面的开源项目Hadoop/MapReduce。

基于云计算的Hadoop/MapReduce应用程序最初出现于2009年,当时AWS发布了其EC2和简单存储服务(S3)的弹性MapReduce网络服务。之后,Google公司在2010年年中的时候发布了Mapper API的实验性版本,即App Engine MapReduce工具箱的第一个组件。自2011年5月开始,开发人员就能够在Google App Engine上运行完整的MapReduce任务。但是,在这种情况下,限速是必须的,这样可以防止消耗所有可用的资源以及防止网络访问。

Google公司在2011年5月增加了一个文件API存储系统,同年7月又为小型数据库(最多100MB)提供了Python整理功能。该公司承诺将进一步开发以适应更大容量的需求,并将在短期内发布一个Java版和MapperAPI。

这就是2011年下半年Hadoop/MapReduce的下一步整合计划。

Hadoop/MapReduce的整合计划

Oracle公司于2011年十月发布了一个该公司Oracle Open World的大数据应用。在发布说明中是这样介绍的,该应用是一个“全新设计的系统”,其中包括Apache Hadoop的一个开源发布、Oracle NoSQL数据库、用于Hadoop的Oracle数据集成应用程序适配器、用于Hadoop的Oracle Loader以及MapR的一个开源发布。

该应用似乎主要是使用Hadoop来实现对Oracle关系型数据库云计算版本的提取、转换和载入(ETL)等操作。Oracle公司的NoSQL数据库是基于BerkeleyDB嵌入式数据库的,该产品是在Oracle公司于2006年并购SleepyCat软件公司时得到的。

同样适用于开放世界的Oracle公共云计算支持诸多开发标准,如JSP、JSF、servlet、EJB、JPA、JAX-RS以及JAX-WS。因此,你可以把你自己的Hadoop实施与Hadoop连接器集成在一起。目前,还没有任何迹象表明,Oracle公司将把Hadoop/MapReduce打包进其公共云计算产品中,但是来自于竞争对手AWS、IBM公司、微软公司甚至Google公司的压力将会迫使Oracle公司将Hadoop/MapReduce纳入其企业级公共云计算产品中。

在2011年10月召开的PASS大会上,微软公司承诺在2011年底前为其Windows Azure发布一个基于Hadoop的服务;公司副总裁Ted Kummert表示在2012年将会举行一次针对Windows服务器的社区技术预览。Kummert还宣布了与Hortonworks公司建立了战略合作伙伴关系,此举将有助于Windows Azure促进Hadoop的进一步成熟。

Kummert介绍了一个新的可用于实现SQL Server 2008 R2与Hadoop之间数据传输的SQL Server-Hadoop连接器,该方法似乎类似于Oracle公司Hadoop连接器的概念。SQL Server团队成员之一的Denny Lee演示了使用HiveODBC驱动器对一个Windwos数据库Hadoop中日志数据的HiveQL查询。

Kummert说,该功能将在2011年11月作为CTP而发布。微软公司通常不为Windows Azure CTP付费,但是按小时计的Windows Azure计算资源和按月计的存储费用依然适用。

处于工程阶段的微软与IBM项目

在微软研究团队对Dryad和Dryad LINQ经过多年研究之后,微软公司的高性能计算(HPC)研发团队于2011年6月发布了Windows HPC Server集群Beta2版和LINQ HPC R2 SP2。其最为常见的配置是一个被称为“突发场景”的混合云计算模型,其中头记录位于本地,而大量计算记录根据实际负载的情况作为Windows Azure虚拟机运行,同时文件组存储在Windows Azure驱动器。

另一个微软研究项目“Daytona”的研发团队声称Daytona是具有用户友好Excel DataScope用户界面的MapReduce runtime,但该应用仍处于CTP的早期阶段。Hadoop的普遍性和跟踪记录可能会对微软公司的服务器和云计算平台团队做出真正贡献产生负面影响。

IBM公司凭IBM SmartCloud Enterprise的IBM inforSphere BigInsights(一个基于Hadoop的分析软件)从而最后一个登上Hadoop云计算的末班车。云计算BigInsights有基本版和企业版两个版本,并可选择进行公共云、私有云和混合云的部署。

基本版是一个入门级、免费的选项,该版本可帮组企业学习如何进行大数据分析,其中包括应用其Bigsheets组件、基于浏览器的分析工具进行场景假设分析。当一切准备就绪时,客户可以无缝升级至企业版并设置Hadoop集群,以较低使用率开始分析数据,其初始价格为0.6美元/集群小时。这两个版本包括一个开发者沙箱,有了它客户就可以使用工具和测试开发环境建立一个新一代的业务分析应用程序。就我目前所知,IBM公司是唯一一家提供免费、先试后用应用实施的供应商。

Hadoop和社会网络

其他名声在外的社会计算Hadoop实施者包括在一万台核心Linux集群上运行Hadoop研究服务的Yahoo公司,于2011年7月宣称其Hadoop集群已达到30PB规模的Facebook,以及具有Hadoop数据TB级规模应用程序的LinkedIn。Twitter还使用Hadoop用于存储和处理tweet、日志文件以及其他数据;eBay也宣称拥有一个532节点,5PB 的Hadoop集群。

目前三巨头Hadoop实施的状况是,Amazon公司是唯一一个具有Hadoop/MapReduce认证(两年半)跟踪记录的云计算服务供应商。IBM公司的BigInsights尚处于起步阶段,而微软公司对Hadoop CTP发布制造版还未提供任何官方的时间表。

我敢打赌,Amazon公司和IBM公司将在2010年年中成为云计算大数据分析市场的竞争对手。尽管Google公司已经向大数据分析市场推出了MapReduce,但我对Google公司appengine-mapreduce未来的成功无法持乐观态度。

(责任编辑:吕光)

时间: 2024-09-22 11:47:58

Google、IBM、Oracle意图分羹云计算大数据市场的相关文章

IBM云计算大数据科技助力医疗行业应用

IBM云计算大数据科技助力医疗行业应用 李永辉(Peter Lee)  IBM大中华区系统与科技事业部技术总监 在"第六届中国云计算大会"云计算大数据医疗行业应用论坛上,IBM大中华区系统与科技事业部技术总监李永辉在主题为<IBM云计算大数据科技助力医疗行业应用>演讲中,提出医疗是IBM十分重视的领域.目前IBM拥有全面的云计算解决方案及大数据解决方案,可为医疗行业面对大数据挑战提供强大的技术支持. IBM云计算大数据科技助力医疗行业应用

大数据的起源和错失大数据市场的鼻祖Google

今天的讲话有三个主题: 大数据是什么Google的大数据发展Google为什么在大数据市场没做好,就是为什么没赚到钱也没有实际的影响力 大数据是什么 我从08年开始实际接触Hadoop的,这得益于当年IBM和我在的学校的一次合作,做一个研究项目:怎么样用蒙特卡洛的办法来解决数据中的不确定性问题.这个解决方案有两个特点,第一是计算量非常非常的大,第二是计算和计算之间相对独立.这就使得基于Hadoop的并行计算成为一个很好的选择. 大数据作为一个名词其实是晚于Hadoop的,更是晚于MapReduc

云计算大数据被提新高度

计算机行业-"数据+产业+金融"三维研究体系之数据端推进点评:数据纲要和软件百家企业相继发布,云计算大数据被提新高度. 事件: 1.9月10日晚,根据国家统计局批准.工业和信息化部统计的2014年全国软件和信息技术服务业年报数据为基础, 2015年(第14届)中国软件业 务收入前百家企业(以下简称软件百家企业)揭晓.华为技术有限公司以软件业务年收入1482亿元,连续十四年蝉联软件百家企业之首,浪潮集团荣获第四位. 2.9月6日,国务院发布<促进大数据发展行动纲要>:信息技术

云计算大数据核心技术Spark,星星之火即将燎原

大数据时代,Spark是继Hadoop之后,成为替代Hadoop的下一代云计算大数据核心技术,目前Spark已经构建了自己的整个大数据处理生态系统,如流处理.图技术.机器学习.NoSQL查询等方面都有自己的技术,并且是Apache顶级Project,可以 预计的是 2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长.目前Spark的技术在国内还属于起步阶段,为了更好地帮助大家了解Spark技术特点及应用前景,我们走访了Spark亚太研究院的院长王家林.       王家林,

河南互联网大会“上线” 云计算大数据产业联盟揭牌

昨日,河南省第三届联网大会在郑州拉开大幕,中国工程院院士邬江兴等业内著名专家以及阿里巴巴.腾讯.华为.中国电信等国内互联网.电信业巨头纷纷前来助阵.河南获批建国家大数据综合试验区后也终于迎来了自己的"云端产业联盟"!大会期间,河南云计算大数据产业联盟正式揭牌. 昨天上午,由省政府指导,河南省通信管理局和省网信办共同主办的河南省第三届互联网大会在郑州美盛喜来登酒店开幕. 中国工程院院士邬江兴.阿里研究院高级顾问梁春晓.中国电子商务协会副理事长郑砚农等业内著名专家,以及国内互联网巨头阿里巴

第八届中国云计算在京召开:云计算大数据加速发展

由中国电子学会主办的第八届中国云计算大会5月18日~20日在北京国家会议中心盛大召开.本次会议由工业和信息化部.中国科学技术协会.北京市人民政府指导,中国云计算技术与产业联盟.中国大数据专家委员会.中国电子学会云计算专家委员会承办,世界工程组织联合会创新专委会(WFEO-CEIT)作为协办单位,ZD至顶网.计世资讯.锦囊专家协办,大会主题为"技术融合,应用创新".工业和信息化部副部长怀进鹏出席会议并讲话,云计算大数据领域的9位院士和200多位专家在全体大会和专题论坛上作报告,三天共有超

阿里云总裁胡晓明:为世界带去中国云计算大数据服务

9月3日,2016年二十国集团工商峰会如期在杭州开幕.杭州被冠以"中国电子商务之都"的称号,电商巨头阿里巴巴的带动作用功不可没.阿里巴巴不仅仅在做电商平台,在云计算领域也是深耕细做. 阿里云的研发水平如何?国际化战略是怎样的?如何保障用户信息安全?对此,海外网对B20参会嘉宾.阿里巴巴集团副总裁兼阿里云总裁胡晓明进行了专访. "计算奥运会"上连破世界纪录聚焦人工智能 阿里云在2009年成立之初,就走上了自主研发的道路."在当时,国内乃至全球,对于云计算是什

畅销书作家Mark Mueller-Eberstein :云计算大数据推动业务创新发展

ZDNet至顶网软件频道 6月5日消息 (文/邓晓蕾):第七届中国云计算大会已经到了第三天,现场观众依然爆满. Adgetec公司的CEO .畅销书作家Mark Mueller-Eberstein 带来"云计算大数据推动业务创新发展"的主题演讲,他提出,云计算对每个企业.每个人来说都是可能的,企业过去几年利用技术转型中有赢家,也有失败者,这之间的区别在哪里呢? "IT的成熟度是企业成功的一个非常关键的指标,特别是对5年或者10年历史的公司来说,它们需要这样的IT能力.&quo

聚焦云计算大数据 2014年IT业9大趋势

对高科技行业来说,2014是转折性的一年.市场研究公司IDC最近发表的报告显示,2014年IT业将出现激烈的竞争和并购潮,许多IT小公司将被大公司收购.报告对2014年IT业的发展作出了预测,认为有9大发展趋势,将主要集中在云计算.大数据.平板机和物联网(注意:不是互联网)的革新开发方面.以下是IDC对2014年IT行业前景作出的9大预测. 全球IT业增长5% IDC报告说,智能手机和平板机将继续受到人们追棒,生活在蒙城liveamtl.com销售看好.2014年全球IT业务增长的60%来自智能