现在,云计算和大数据无疑都是很火的概念,业内对他们的探讨也愈演愈烈,那么云计算与大数据的不期而遇又产生了怎样的联系呢?有人说云计算和大数据是双胞胎,两个是不同的个体,互相依赖又相辅相成,也有人说大数据是来搅局的。
云计算 VS 大数据
对此,IBM全球高级副总裁、系统与科技部(STG)总经理Rod Adkins认为,当前全球IT领域有了令人振奋的发展趋势和挑战,现在每天有大量数据和信息生成,这为大数据分析提供了机会;数据中心的挑战也为IT提供了新机会,比如云计算,能降低数据中心成本;IBM希望通过智慧的运算,实现智慧的地球的愿景。
英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔认为,大数据本身其实是信息革命的一个新引领。在未来几年随着物联网的发展,可能会有2100亿个RFID或者集群,在我们的环境之中,如果未来的移动互联、物联网如果变成现实,我们的生活会被传感器、会被数据采集装置所拥抱,这时候数据量将更大。这些数据量仅仅是数据,并不能解决问题,它要从数据变成信息、变成智能、变成商业价值,这才能够体现出真正的大数据的价值。
VMware全球高级副总裁范承工认为,在过去三年当中,看到大数据的发展从无到有,市场上大家说大数据的趋势,三年前可能还没有人说这个词,现在已经如火如荼。然而,现在除了数据本身发生了改变,云计算也使数据变得更加分散,在这样的趋势下,传统数据库对于海量数据的需求、快的需求、开发者数据多样化的需求难以满足,使各种各样的解决方案大行其道。
EMC的大数据和存储专家、EMC资深产品经理李君鹏认为,大数据本身就是一个问题集,云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台,大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理,也是云计算思想的一种具体体现。
对于大数据给云计算带来的影响,Teradata技术总监Stephen Brobst表示,公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上,那样很危险。然而,是私有云架构确实有影响:第一,通过私有云,可以巩固数据集市,减少利用率不足的问题;第二,可以通过灵敏的方式将数据集成,实现业务价值。
大数据和云计算应用各不同
其实云计算与大数据的不同之处在于应用的不同,主要在两个方面:
第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。
第二,大数据和云计算的目标受众不同,云计算是卖给CIO的技术和产品,是一个进阶的IT解决方案。而大数据是卖给CEO、卖给业务层的产品,大数据的决策者是业务层。由于他们能直接感受到来自市场竞争的压力,必须在业务上以更有竞争力的方式战胜对手。
大数据不仅仅是Hadoop
Hadoop是Apache基金会发起和研发的,是目前业界公认的开放平台之一。授权公司可以发布自己相应的Hadoop版本。以Hadoop为代表的分布式系统,是大数据系统必要组成部分。必要性体现在现在的大数据中很多数据是机器产生的数据,或者是物联网各种各样的探测器、电脑产生的日志,这些是人为产生的,而且数量巨大,不适合把它直接放到数据库中去,而Hadoop就提供了全新的方式,可以轻松进行平面扩展,把这些数据放在库里进行任意的数据分析。Hadoop成功的建立了这个环境,使得围绕Hadoop的软件能够提供各种各样的功能,完成智能分析工作。
然而,大数据不仅仅是Hadoop,在对数据进行分析时,用户可以把数据放池子里,Hadoop则把这些数据分成几百个、几千个节点,这是在特定的某些应用场景必须进行的部分。但是更多的应用场景是需要实时的反应,互动的反应,这时候就需要其他技术,包括内存类检索技术,甚至在数据产生时要进行实时反应的技术。这些技术都结合在一起,才是一个完整的大数据处理系统。
各大厂商应对大数据
不论大数据时代是否真的来临,作为企业级服务厂商都应该走在受众的前面,应对大数据。
1.IBM:4V理论+大数据分析平台
IBM基于大数据提出了规模性(Volume)、多样性(Variety)、高速性(Velocity)和真实性(Veracity)的“4V理论”,帮助企业直观认知和准确把握大数据特质。
IBM早在2007年11月就推出了蓝云计算平台,“蓝云”基于IBMAlmaden研究中心(AlmadenResearchCenter)的云基础架构,包括Xen和PowerVM虚拟化、Linux操作系统映像以及Hadoop文件系统与并行构建。
此外,IBM还有大数据分析平台——InfoSphere。InfoSphere是IBM进军大数据领域的强有力武器,其包括 BigInsights和Streams,二者互补,Biglnsights基于Hadoop,对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力;而Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。
2.英特尔:硬件+软件 火力很猛
硬件上,英特尔从CPU、存储、内存一切的技术考虑怎么样使得新一代的系统架构,以及数据中心的解决方案能够更适合大数据的要求。
软件上,英特尔提供优化的中间件。以Hadoop为例,英特尔在Hadoop系统,在Hbase、HDFS上都做了增强和优化,使它们在英特尔的平台上,在英特尔的硬件上性能得到显著的提高,并推出了Intel Hadoop Manager2.0。
据介绍,Intel Hadoop Manager2.0 优化了Hadoop的处理能力,把拟数据采集到数据处理缩短到近于实时处理,且在英特尔平台上性能会成倍增长。
3.VMware:虚拟化架构+云平台
VMware公司大中华区总裁宋家瑜认为,云的平台才是唯一能解决爆炸性大数据使用的需求,把关键应用移到云平台已经是一个必然趋势。因此,VMware把尝试着把大数据应用到虚拟环境的云端。
VMware推出的开源项目Serenget,支持企业在云端和虚拟环境中,在vSphere上部署和管理Hadoop。据介绍,在这样的环境下,Hadoop部署时间可以从很多天缩短到10分钟。
此外,VMware在统一的vSphere虚拟化架构之上,提供GemFire实时处理、GreenPlum交互处理及Hadoop批处理三种模式,满足用户的海量、快速及灵活的大数据处理需求,并为开发者、数据分析师、数据科学家和商务用户提供数据分析及可视化的数据展示。VMware还公布了一个大数据分析平台 UAP(Universal Analytics Platform),其中包括Greenplum database、Hadoop和Chorus分析软件,帮助客户同时分析处理结构化和非结构化的数据。
4.EMC:EMC HADOOP
EMC发布了EMC HADOOP版本,它主要进行实时、非结构化的数据处理。EMC的产品系列在HADOOP包括三个方面:Greenplum HD社区版;Greenplum企业版;Greenplum HD Data Computing Appliance。
据介绍,在Greenplum HD中有一些核心的技术创新:可插拔I/O,可以用Isilon OneFS夺存储系统,也可以用Atmos等,提高效率和性能;实时处理可以实时数据交互和分析处理;在容错方面,消除名称节点的单点鼓掌,作业跟踪其及其他关键组件方面有很多优化。它最大的亮点是Greenplum Database与Apache HADOOP强强联合,这样的一个一体机实现了结构化、非结构化数据之间无缝的集成。
此外,甲骨文也推出了大数据机,为企业提供一种处理海量非结构化数据的方法,集成了硬件、存储和软件,包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。