大数据是云计算的杀手锏应用

大数据与云计算的关系,引起一些人的困惑。为了便于探讨二者的关系,这里从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”,大数据首先是一种“数据”,而计算机就是用来“计算”“数据”的。

计算机是软件和硬件分离的,是一种软件定义的电子产品(可编程)。计算机设计中的一个重要问题是如何有效管理CPU、内存和I/O等硬件资源,以及如何让应用程序合理使用这些资源。这两大任务最早内嵌在各种应用程序中,由应用程序自身完成,缺点是费力、复杂和易错,难以升级和移植,而且重复工作。

上世纪60年代这些共性功能开始从应用中分离出来,逐步形成了一种通用的软件包,这就是操作系统。操作系统是位于硬件和应用程序之间的“中间件”,让应用软件和硬件得以分离并独立发展,发展成了最核心的计算机系统软件,也成就了微软公司的伟大。

以UNIX为始祖的常见现代操作系统有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原创的微软Windows、 Windows Phone和IBM的z/OS。操作系统的工作范围,也从最初的计算机蔓延到手机、游戏控制器、电视机顶盒、智能汽车和智能眼镜等,还有与云计算密切相关的Web服务器。

上世纪70年代,计算机的快速发展使得数字化数据爆发式增长,“海量”数据管理成了新挑战。把通用操作系统的文件管理用于数据管理时,无论是扩展性、效率和便利性,都不适应“海量”数据的管理需要,应用软件被迫内嵌自己设计的数据管理系统。同样的,“海量”数据管理由每个应用程序自身完成,缺点也是费力、复杂和易错,难以升级和移植,并且重复工作。

于是一种专门面向“海量”数据管理的通用软件问世了,那就是数据库管理系统(DBMS),一种应用系统软件。DBMS包括了数据库定义、创建、查询、更新和管理等功能,这些都是数据管理所必需的,是操作系统的文件管理系统所没有的。

著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是关系型DBMS。当然还有非关系型No SQL模式的,只是没那么流行。

DBMS与字处理软件等一起,成为单机时代最重要的应用软件,也成就了一家伟大的应用软件公司Oracle。大约不足20年前,操作系统和数据库的技术和市场未来,看起来都那么可预知。一个是微软的天下,一个是Oracle的天下。

但互联网来了,尤其是Web开始流行。

Web服务器所使用的操作系统,最初面向单机设计,扩展用于局域网范围内管理多台服务器还勉强可用。但当互联网巨头崛起,需要Web服务器的操作系统管理数百万台Web服务器的时候,传统操作系统勉为其难,需要“技术革命”了。“革命”的结果就是云计算。

云计算大伞下有很多概念,核心技术之一是虚拟化。虚拟化有“1虚N”和“N虚1”两种模式,前者主要是为了省钱,以Amazon AWS为代表;后者主要是为了大数据处理,以Google GAE为代表。

云计算的“N虚1”模式,可将多台物理计算机虚拟化为一台超级计算机,向应用程序提供资源池的调度管理服务,与传统操作系统的功能几乎完全相同,因此常被称为“云计算操作系统”。只是云计算操作系统的工作范围,扩大到数据中心甚至整个互联网范围内,把每台计算机也当做资源看待和管理。

有了云计算操作系统,云应用软件和硬件(计算机资源)得以分离,各自可以独立发展。历史再次重演,云计算以及SNS、微博、移动互联网和物联网等的快速发展,具有3V特点的数据爆发,大数据管理的挑战也最先到来。同样,面向计算设计的通用云计算操作系统,在大数据管理方面的扩展性、效率和便利性,都面临新挑战。

历史上计算机面对“海量”数据的挑战,将数据应用和数据管理分离,催生了通用的DBMS。现在云计算面对大数据的挑战,也必将使大数据应用和大数据管理分离,催生“大数据库管理系统”,并且逐步走向通用化和平台化。

ATM(异步传输模式)是通信资源稀缺时代的产物,TCP/IP是通信资源富饶时代的产物。类似的,传统DBMS是IT资源稀缺时代的产物,大数据管理系统是IT资源富饶时代的产物。

计算是工具,可以工业化提供;数据是资源,是个性化的资产。如果说Office、游戏等是PC的杀手锏应用,浏览器、搜索、SNS等是互联网的杀手锏应用,那么大数据等就是云计算的杀手锏应用。

(责任编辑:fumingli)

时间: 2024-10-23 10:11:15

大数据是云计算的杀手锏应用的相关文章

张亚勤:大数据是云计算杀手锏

微软亚太集团研发主席张亚勤近日向赛迪网记者表示,大数据是云计算时代的杀手锏应用,每个企业都应该把数据作为核心战略,有了数据才有未来. 张亚勤称,未来5年的竞争,是三大平台的竞争,三大平台分别为终端平台.http://www.aliyun.com/zixun/aggregation/13423.html">云计算平台以及云和端之间的平台;而云计算的兴起,让企业有了大数据的能力;大数据,是云计算时代的杀手锏应用. 张亚勤表示,大数据能够8084.html">蓬勃发展,主要有三个

将大数据存储云计算 仍需努力

云计算对于我们大部分人来说还只是一个遥不可及,只在脑海中有个大致概念的梦想.经常听到有人谈到他们自己关于大数据的策略"把所有的数据都存储在云服务中",这听起来似乎很美好,但我们尚不能明确的分辨这种策略是否是能成为一种有远见的方案,抑或只是一些人对他们在行业会议上所听到的某些专家谈话的一种简单的复制和重复. 大数据和云计算范例之间的重叠实际是如此地广泛,您可以声称您的企业正在利用现有的内部部署的Hadoop.NoSQL.或企业级数据仓库环境,进行基于云计算的大数据部署.但请务必记住,云计

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)

1. HADOOP背景介绍 1. 1.1什么是HADOOP 1.        HADOOP是apache旗下的一套开源软件平台 2.        HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.        HADOOP的核心组件有 A.       HDFS(分布式文件系统) B.       YARN(运算资源调度系统) C.       MAPREDUCE(分布式运算编程框架) 4.        广义上来说,HADOOP通常是指一个更

李克强:促进大数据、云计算、物联网广泛应用

国务院总理李克强5日作政府工作报告时说,<国民经济和社会发展第十三个五年规划纲要(草案)>明确了今后五年经济社会发展的主要目标任务,提出了一系列支撑发展的重大政策.重大工程和重大项目,突出了以下六个方面. --保持经济中高速增长,推动产业迈向中高端水平.实现全面建成小康社会目标,到2020年国内生产总值和城乡居民人均收入比2010年翻一番,"十三五"时期经济年均增长保持在6.5%以上.加快推进产业结构优化升级,实施一批技术水平高.带动能力强的重大工程.到2020年,先进制造

什么叫大数据,大数据与云计算彼此真的亲密无间吗?

大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取.管理.处理.并整理成为帮助企业经营决策更积极目的的资讯. 大数据的4V特点:Volume.Velocity.Variety.Veracity.大的数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据.适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统.互联网.云计算以及大数据,如今成了

大数据面临的挑战:当大数据遭遇云计算

本文讲的是大数据面临的挑战:当大数据遭遇云计算,据IDC的报告,未来十年全球大数据将增加50倍.仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生.这相当于每位美国人每分钟写3条Tweet,而且还是不停地写2.6976万年.在未来十年,管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长. 毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算.数据仓库.数据挖掘.商业智能等应用的连锁反应.2011年企业会将更多的多TB(1TB=1000

盘点2017年大数据、云计算产业将要举办的大会

2017年注定是中国大数据发展史上具有标志性意义的一年,过去的2016年中国大数据市场规模达168亿元,被称为"中国大数据发展元年",而2017年刚过三分之一,中国大数据市场早已发生了诸多大事件.近日,大数据观察盘点了近期的大数据会议,供业内人士提前做好参会或学习准备. 2017年4月12日至13日,第五届亚太CDN峰会将在北京举行.大会由亚太CDN领袖峰会.国际CDN论坛.电视新媒体CDN论坛.视频云论坛.未来网络论坛.C未来视频峰会.亚太CDN展览会等7大部分组成.聚集了阿里云.腾

大数据是云计算的“杀手级”应用

ZDNet至顶网服务器频道 03月06日 新闻消息:全国人大代表.腾讯公司CEO马化腾在今年两会议案中建议,加快移动互联网在民生领域的普及和应用,通过互联网解决防治雾霾等重大民生问题.全国政协委员.百度公司CEO李彦宏在今年提交给两会的提案建议,设立"中国大脑"计划,推动人工智能跨越发展,抢占新一轮科技革命制高点.这背后均涉及海量数据.如何确保数据流通畅无阻?这就离不开云计算这位幕后英雄了.围绕云计算跟普通用户的关系,在万物互联社会中云计算的重要作用,国务院新政将给云计算产业带来哪些利

大数据、云计算构筑百姓安全防护网

10月11日消息 据中国之声<新闻纵横>报道,当某个犯罪嫌疑人出现在街头的时候,监控探头会自动识别出来,并自动通知给警方--类似这样以前只出现在电影里的情形,如今正逐渐应用到现实生活中.大数据.云计算--这些听起来比较时髦的词汇,也早已和社会治安综合治理联系到了一起. 随着科学技术的快速发展,一些地方开始尝试运用物联网.大数据.云计算等现代科技最新成果来破解平安建设领域的难题,通过提升社会治理的信息化.智能化水平,为百姓生活构筑更安全的防护网. 在江苏南京市公安局江宁分局东山派出所指挥室,警情