大数据这一概念,对于国内企业来说或许还稍显陌生,目前内地从事这一领域的企业少之又少。但在国外,大数据被科技企业看作是云计算之后的另一个巨大商机,包括微软、谷歌、亚马逊和微软在内的一大批知名企业纷纷掘金这一市场。此外,很多初创企业也开始加入到大数据的淘金队伍中,这一领域已经成为实实在在的红海。
在本文中,作者整理了当今世界上在大数据领域最具话语权的企业,它们有的是计算机或者互联网领域的巨头,有的是刚刚创办不久的初创企业。但它们有一个共同点,那就是它们都看到了大数据带来的大机会于是毫不犹豫地挺进了这个领域。
虽然大数据是比云计算还要新兴的一个术语,但是通过文章里列举的一些公司可以发现,在此领域已有很多外国企业深耕已久,但是国内企业在这个领域还几乎是空白。
传统巨头:
企业名称:IBM
网址:http://www.ibm.com/
上线时间:2011年5月
公司地址:美国纽约州阿蒙克市
融资状况:IBM业务
业务方向:主要面向大企业等市场
IBM Logo(图片来自网络,下同)
IBM这个蓝色巨人现如今虽已经没有上世纪名号响亮,但是在如今企业市场的各个领域却具有无可争议的话语权,自然它也不会放过大数据这块肥肉,现在它是全球最大的信息技术和业务解决方案公司。
2011年5月,IBM正式推出InfoSphere大数据分析平台。InfoSphere大数据分析平台包括 BigInsights和Streams,二者互补,Biglnsights基于Hadoop,对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力。Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。
企业名称:亚马逊
网址:http://www.amazon.com/
上线时间:2009年
公司地址:美国华盛顿州西雅图
融资状况:亚马逊业务
业务方向:主要面向大企业等市场
亚马逊
对于云计算和大数据,亚马逊绝对具有先见之明,早在2009年就推出了亚马逊弹性MapReduce(Amazon Elastic MapReduce),亚马逊对Hadoop的需求和应用可谓了若指掌,无论是中小型企业还是大型组织。弹性MapReduce是一项能够迅速扩展的Web服务,运行在亚马逊弹性计算云(Amazon EC2)和亚马逊简单存储服务(Amazon S3)上。这可是货真价实的云:面对数据密集型任务,比如互联网索引、数据挖掘、日志文件分析、机器学习、金融分析、科学模拟和生物信息学研究,用户需要多大容量,立即就能配置到多大容量。
除了数据处理外,用户还可以使用Karmasphere Analyst的基于服务的版本,Karmasphere Analyst是一种可视化工作区,用于在亚马逊弹性MapReduce上分析数据。用户还可以提取结果文件,以便在数据库或者微软Excel或Tableau等工具中使用。
企业名称:甲骨文
网址:http://www.oracle.com/
上线时间:2010年
公司地址:美国加州红木城
融资状况:甲骨文业务
业务方向:主要面向大企业等市场
Oracle
甲骨文在近期发布的Oracle大数据机(Oracle Big Data Appliance)为许多企业提供了一种处理海量非结构化数据的方法。在2011年10月初召开的Oracle OpenWorld 2011大会上甲骨文正式推出了Oracle大数据机。对于那些正在寻求以更高效的方法来采集、组织和分析海量非结构化数据的企业而言,该产品具有很大的吸引力。
与甲骨文近期推出的其他一体化产品一样,Oracle大数据机集成了硬件、存储和软件,包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。该产品被设计为能够与甲骨文Database 11g、Oracle Exadata数据库云服务器,以及针对商业智能应用的新的Oracle Exalytics商业智能云服务器一起协同工作。
企业名称:谷歌
网址:http://www.google.com/
上线时间:2011年
公司地址:美国加州山景城
融资状况:谷歌业务
业务方向:面向各类企业市场
谷歌一直是科技行业的领军者,近年来几乎在任何一项互联网科技项目你都能看到谷歌的身影,大数据时代谷歌自然不会错过。何况如果对其拥有的海量数据进行深入挖掘,这对于提升谷歌搜索乃至所有谷歌服务的价值无可估量。
BigQuery是Google推出的一项Web服务,用来在云端处理大数据。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。 BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,从而不必投资建立自己的数据中心。Google曾表示BigQuery引擎可 以快速扫描高达70TB未经压缩处理的数据,并且可马上得到分析结果。大数据在云端模型具备很多优势,BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和数据备份服务也相当完善。
去年底该服务只向一小部分开发者开放,现在任何人都可以注册这项服务。免费帐号可以让你每月访问高达100GB的数据,你也可以付费使用额外查询和存储空间。
企业名称:微软
网址:http://www.microsoft.com/
上线时间:2011年
公司地址:美国华盛顿州雷德蒙市
融资状况:微软业务
业务方向:面向各类企业市场
微软研究部门从2006年起就一直致力于某种非常类似于Hadoop的项目,被称为“Dryad”。今年年初,该计划通过与SQL Server和Windows Azure云的集成实现了Dryad的产品化。虽然现在微软还没有更新,但看上去Dryad似乎将成为在SQL Server平台上影响大数据爱好者的有力竞争者。
微软进入这一市场可谓“姗姗来迟”,而且在一定程度上说,数据仓库分析和内存分析计算市场落下了后腿。2011年初微软发布的SQL Server R2 Parallel Data Warehouse(PDW,并行数据仓库),PDW使用了大规模并行处理来支持高扩展性,它可以帮助客户扩展部署数百TB级别数据的分析解决方案。微软目前已经开始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社区技术预览版本的连接器。 该连接器是双向的,你可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据。
微软在去年推出了基于Azure云平台的测试版Hadoop服务,今年它承诺会推出与Windows兼容的基于Hadoop的大数据解决方案(Big Data Solution),这是微软SQL Server 2012版本(首发日期还不知道)的一部分,现在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。
企业名称:EMC
网址:http://www.emc.com/
上线时间:不详
公司地址:美国麻州Hopkinton市
融资状况:EMC业务
业务方向:面向各类企业市场
EMC于1979年成立于美国麻州Hopkinton市,1989年开始进入企业数据储存市场。 EMC公司是全球信息存储及管理产品、服务和解决方案方面的领先公司。EMC是每一种主要计算平台的信息存储标准,而且,世界上最重要信息中的 2/3 以上都是通过EMC的解决方案管理的。
面对大数据时代,EMC公司推出用于支持大数据分析的下一代平台――EMC Greenplum统一分析平台(UAP)。Greenplum UAP是一个唯一的统一数据分析平台,可扩展至其他工具,其独特之处在于,它将对大数据的认知和分享贯穿整个分析过程,实现比以往更高的商业价值。
企业名称:Teradata
网址:http://www.teradata.com/
上线时间:2011年
公司地址:美国俄亥俄州迈阿密斯堡
融资状况:Teradata业务
业务方向:面向各类企业市场
Teradata
Teradata公司(Teradata Corporation,纽约证券交易所交易代码TDC)是全球领先的数据仓库,大数据分析和整合营销管理解决方案供应商,专注于数据库软件,数据仓库专用平台及企业分析方案。 不久前宣布推出一款集硬件、软件和服务于一体的全面产品组合——Teradata分析生态系统 (Teradata Analytical Ecosystem),使不同的 Teradata 系统实现无缝协作,为企业客户提供分析和更深入的洞察力,帮助其预测商业机会和加速实现商业价值。Teradata Unity 将确保整个Teradata Analytical Ecosystem的同步和统一。为了增强在大数据分析领域的优势, Teradata还收购Aster Data公司,以增强其非传统数据分析的能力,突破了SQL分析的限制,协助企业从全部数据中获取更多价值。
企业名称:NetApp
网址:http://www.netapp.com
上线时间:2011年
公司地址:美国加利福尼亚州森尼韦尔
融资状况:NetApp业务
业务方向:面向各类企业市场
Network Appliance,Inc.(NetApp,美国网域存储技术有限公司)是IT存储业界的佼佼者,自1992年创业以来,不断以创新的理念和领先的技术引领存储行业的发展。Network Appliance, Inc. (NetApp) 是向目前的数据密集型企业提供统一存储解决方案的居世界最前列的公司。
NetApp StorageGRID 是一个久经验证的对象存储软件解决方案,设计用于管理 PB 级、全球分布的存储库,这些存储库包含企业和服务提供商的图像、视频和记录。通过消除数据块和文件中数据容器的典型约束,NetApp StorageGRID 提供了强大的可扩展性。它支持单个全局命名空间内的数十亿个文件或对象和 PB 级容量。
NetApp StorageGRID 实现了智能的数据管理和安全的内容保留。它通过一个具有内置安全性的全局策略引擎来优化数据存放、元数据管理和效率,该引擎管理数据的存储、放置、保护和检索的方式。此外,使用数字指纹和加密等技术防止内容受到篡改。
NetApp StorageGRID 有助于随时随地提供数据,以便于不间断地运营。该解决方案被设计为允许灵活进行部署配置,以满足全球的多站点组织的不同需要。
企业名称:Sybase
网址:www.sybase.com
上线时间:2011年
公司地址:美国加州Dublin市
融资状况:Sybase业务
业务方向:面向各类企业市场
Sybase
Sybase公司成立于1984年11月,总部设在美国加州的Emeryville(现为美国加州的Dublin市)。作为全球最大的独立软件厂商之一,Sybase公司致力于帮助企业等各种机构进行应用、内容及数据的管理和发布。
Sybase IQ是Sybase公司推出的特别为数据仓库设计的关系型数据库。 相比于传统的“行式存储”的关系型数据库, Sybase IQ 使用了独特的列式存储方式,在进行分析查询时,仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。“随着 Sybase IQ 不断地在分析应用 POC 测试中拔得头筹,有时甚至超过其他对手 100 倍之多”, Gartner 评价道,“ Sybase IQ 逐渐成为从数据集市到企业数据仓库架构最令人渴望的 DBMS (数据库管理系统)。”
自 2009 年推出以来, Sybase 陆续发布了 Sybase IQ 15.1 、 15.2 、 15.3 以至最新的 Sybase IQ 15.4 版本,每个版本都着力于增加新的核心能力以促进更深入的高级分析。Sybase IQ 15.4是面向大数据的高级分析平台,将大数据转变成可指挥每个人都行动的情报信息,从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。
因此,有人说Sybase IQ15.4正在彻底改变“大数据分析”。
企业名称:惠普
网址:www.hp.com
上线时间:2011年
公司地址:美国加州帕罗奥多市
融资状况:惠普业务
业务方向:面向各类企业市场
大数据时代来临,老牌巨头惠普也不甘落后。不久前惠普企业服务事业部宣布推出全新服务,帮助客户更快部署惠普子公司Vertica的Vertica Analytics Platform ,从而迅速洞悉关键的业务信息,辅助决策过程。
Vertica Analytics Platform 让用户能够大规模实时分析物理、虚拟和云环境中的结构化、半结构化和非结构化数据,从而深入洞悉“大数据”。
Advanced Information Services for Vertica 帮助客户最大化实现 Vertica 分析平台性能,并构建企业分析专用环境。惠普提供从评估到实施的一系列服务,与客户共同定义多种交付方式组合,并找出匹配其现有基础设施的最佳解决方案。
Advanced Information Services for Vertica已在全球上市,将为实现“瞬捷”企业构建灵活的智能环境。
企业名称:沃尔玛
网址:http://www.walmart.com/
上线时间:2011年
公司地址:本顿维尔
融资状况:沃尔玛业务
业务方向:未知
在这里看到沃尔玛的身影,可能很多人会有疑问,全球最大的传统零售业巨头沃尔玛怎么就跟大数据扯上关系了?看了下面的介绍你就会明白了。
沃尔玛是最早通过利用大数据而受益的企业之一,曾经拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析,沃尔玛成为最了解顾客购物习惯的零售商,并创造了“啤酒与尿布”的经典商业案例。早在2007年,沃尔玛就已建立了一个超大的数据中心,其存储能力高达4Pb以上。《经济学人》在2010年的一篇报道中指出,沃尔玛的数据量已经是美国国会图书馆的167倍。
沃尔玛实验室计划将沃尔玛的10个不同的网站整合成一个,同时将一个10个节点的Hadoop集群扩展到250个节点的Hadoop集群。目前实验室正在设计几个能将当前像Oracle、Neteeza这样的开放资源的数据库进行迁移、整合的工具。
沃尔玛曾进行了一些列的收购,包括Kosmix(沃尔玛实验室前身)、Small Society、Set Direction、OneRiot、Social Calenda、Grabble等多家中小型创业公司,这些创业公司要么精于数据挖掘和各种算法,要么在移动社交领域有其专长,从此我们就可以看出沃尔玛进军移动互联网和挖掘大数据的决心。相信在沃尔玛的带领下,传统行业也会慢慢意识到大数据的重要性,加速步入大数据时代。
初创企业:
除了这些传统的大企业已经开始进入大数据领域之外,还有不少的创业企业也瞄准了大数据带来的机会,纷纷推出自己的产品,以期抓住大数据时代的机会。
企业名称:Clustrix
网址:www.clustrix.com
创办时间:2005年
公司地址:美国加州旧金山
融资状况:1200万美元
业务方向:面向各类企业市场等
Clustrix
Clustrix创立于2005年,是Y Combinator 2006年冬季班的成员。Clustrix可以为SQL数据库提供专利数据应用方法,帮助人们处理大量的数据,使SQL数据库无限扩容成为可能。最近Clustrix从Sequoia Capital、USVP和 ATA Ventures三家风险投资公司处再次获得价值675万美元的风险投资,至今已获融资1200万美元。Clustrix总部设在美国旧金山,研发中心设在西雅图。为打开欧洲市场,公司计划将总部迁至荷兰的阿姆斯特丹,并将于年底前在印度设立办公室。
企业名称:Cloudera
网址:http://www.cloudera.com/
创办时间:2009年
公司地址:美国加州帕洛阿尔托
融资状况:4000万美元
业务方向:面向各类企业市场等
Cloudera
Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司,总部位于加州帕洛阿尔托,2009年3月发布了第一款商业产品,当时获得由AccelPartners领投的500万美元投资。该公司于2010年6月正式推出Cloudera企业产品。 2011年11月募集到4000万美元风险投资资金,此轮融资由风险投资机构Ignition Partners的合伙人弗兰克·阿泰勒(Frank Artale)领投。Cloudera之前的投资者顶尖风投机构Accel Partners、Greylock Partners、Meritech Capital Partners 和In-Q-Tel也参与本轮投资。
除以上企业以外,包括MapR、HStreaming、Hadapt、DataStax、Datameer这些与Hadoop以及大数据相关的新公司都已经获得投资,新一轮热潮正在兴起。
看到以上这么多的国外企业已经开始走上大数据之路,我们不禁想知道国内有哪些企业在大数据方面有所建树,但遗憾的是,与国外大数据的热火朝天相比,国内企业参与这一领域的并不多。
国内企业在数据库、数据仓库、商业智能等领域基础薄弱,IT尤其是软件企业在布局大数据方面,已经远远落后于国外先进企业。对于哪些企业将来有可能成功进入大数据领域,挑起大数据利用国产化的重担,不少人表示看好百度、阿里巴巴、腾讯等国内互联网巨头,因为它们不仅具有资金、技术等方面的实力,而且一直在与数据打交道方面具有先发优势,其本身业务的发展趋势与大数据发展趋势相符。
实际上,作为中国最大的电子商务公司阿里巴巴已经在利用大数据技术提供具体服务,主要内容就是阿里信用贷款与淘宝数据魔方这两部分业务。
以阿里信用贷款为例,阿里巴巴通过掌握的企业交易数据,借助大数据技术自动分析判定是否给予企业贷款,全程不会出现人工干预。据透露,截至目前阿里巴巴已经放贷300多亿元,坏账率约0.3%左右,大大低于商业银行。
淘宝数据魔方则是淘宝平台上的大数据应用方案。通过这一服务,商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等,并可以据此作出经营决策。
除了互联网企业以外,也许还有一家不可忽略的企业极有可能在大数据领域异军突起,那就是华为。尽管华为公司在大数据领域一直保持低调状态,但仍有相当一部分中国用户期待华为产品和方案,这主要得益于多年来华为精心打造的“国产IT网络通信产品、方案领导者”的品牌形象。
近年来,尤其是进入2012年以来,大数据渐渐地开始成为一个人们耳熟能详的术语。有许多人认为2012年应该是大数据元年,更有甚者预测,下一个Facebook会诞生在大数据领域,不管这些看法有没有道理,但至少我们可以看到大数据时代的帷幕已经开启。