思考:数据“大爆炸”时代,如何正确看待云计算?

大数据是指无法在一定时间内使用传统数据库软件工具对其内容进行抓取、管理和处理的数据集。大数据不仅仅是大,还有它的复杂性和沙里淘金的重要性。

数据大爆炸时代 如何正确看待云计算

随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

战国《风赋》:“夫风生于地,起于青苹之末,侵淫溪谷,盛怒于土囊之口,……”

DT时代,未来已来——数据“大爆炸”

首先要明白大家为何从前几年开始谈大数据了?这是一个基本问题,包含着对当下数据现实的基本认识。一个不可忽视的事实是,随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

数据“大爆炸”

对于如此巨量数据(而且单纯的增量数据都是一个巨量),与之相关的存储、分析、流转、使用到交易等等环节产生了一系列关联的问题,而在当下的时间节点,我们不得不明确面对,而不仅仅是先找个地方把数据存起来。

国家信息中心专家委员会主任宁家骏表示:大数据是指无法在一定时间内使用传统数据库软件工具对其内容进行抓取、管理和处理的数据集。大数据不仅仅是大,还有它的复杂性和沙里淘金的重要性。

以上是宁家骏从技术分析角度对数据与大数据做的区分,传统软件处理的数量主要是结构化数据,而且数量上相对小。当规模大到需要新的技术方案的时候,那正是我们重新认识它的时候。

大数据有两大特点,一是数据来源多源,包括各种结构化数据和非结构化数据,如网络日志、视频、图片、地理位置信息等等,同时数量相对巨大,大数据中的‘大’本身就是一个相对的概念;二是数据处于“on line”即在线的状态,能够随时被吸取和关联,并进行分析。

一般来讲,更多智能硬件和这能设备的加入,更多数据实时产生,于是就需要大数据技术来实现对数据信息的价值挖掘。大数据技术包括了数据采集,数据存取,基础架构,数据处理,统计分析,数据挖掘,模型预测,结果呈现等八个方面。

而以上几个方面都离不开云平台和云计算能力,比如说数据采集之后的数据存储,现在很多非核心敏感数据都可以存储在云端;数据挖掘也是需要通过云计算和机器学习才能实现。那什么才是云计算呢?

云计算——低成本部署、随需使用的计算大脑

所谓云计算,非常教科书的说法是“能通过网络访问可扩展的、灵活的、可共享的物理或虚拟资源池,并按需自助获取和管理这些资源的模式。其中资源实例包括服务器、操作系统、网络、软件、应用和存储设备等。 ”

从以上概念可以看出其包括软件、硬件等资源,简单说云计算有三层云平台,第一个是Iaas(Infrastructure as a Service),基础设施即服务,以前这些资源都是企业固有资源,现在可以不再拥有,通过平台服务商提供,减轻部署成本;

第二个是Paas(Platform as a service),平台即服务,开放式的API可以由合作方提供行业和内容的服务;

第三个是SaaS(Software as a service),软件即服务。比如我们经常使用的手机APP等;

云计算有一个很重要的特点和优势就是资源池化,就是把Iaas,Paas,Saas层的资源(CPU、存储、网络等)放入到资源池中(云服务器),由云服务器进行集中管理。云计算里所有的服务都是通过资源池里的资源而提供的。

我们已经进入了新一轮技术驱动的时代

那如何理解大数据与云计算的关系?

在中国计算机学会大数据专家委员会副主任车品觉看来:人工智能、深度学习,这些都是二十年前就有的技术,但是二十年前没有大数据,没有可以关联的数据。所以大数据的故事从有了关联才真正开始。

那如何应用大数据?车品觉表示:首先要了解数据的生命周期。“布点”、“收集”、“存储”,这些是前端,之后需要对数据做“识别”、“关联”、“分析”。还有一个能把整个过程包起来的,就是“实时刷新”。这就是数据的生命周期,它是一个闭环。不管你怎么使用大数据,你首先要了解这个周期。

阿里巴巴集团首席技术官王坚在一次小型论坛上分享到:“云计算是工业时代的电,大数据就是福特生产线,云存储就是钢铁工业。也就是说,没有钢铁,就没有电,就不会有大规模工业化生产。没有云计算,大数据不会出来,如果云计算没有解决云存储的问题,也不会出来。”

中国科学院院士、西安交通大学教授徐宗本在刚刚结束的工业大数据大会·钱塘峰会上介绍,大数据是新一代信息技术的基础性技术,被普遍认为是继互联网之后,能对全球社会、经济、工业产生重大影响的技术。

面对一股面向大数据的市场狂热,徐院士讲到两点基本观点:

第一,我不认为大数据对近一两年GDP的贡献有那么大,但肯定的说对于三年、五年之后的GDP贡献巨大。换句话说,只有沉得下心,愿意扎扎实实打好基础的政府和企业,才能从大数据技术上获益。

第二,大数据技术并不是已经成熟的技术,是一个正在从应用中逐渐走向成熟的技术,目前的挑战多于成熟。

所以,要从整体视角来观察大数据和云计算,而不能因为其中一个而偏废其他,总体来讲,大数据技术与云计算都是很有效的工具手段,有待人们去不断挖掘。

我们用丛龙峰博士的话来作结:“历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的泡沫;中期又会低估它的影响,觉得不过是些概念而已;当你觉得它是概念的时候,它已经开始生根发芽,开始茁壮成长。”

本文转自d1net(转载)

时间: 2024-08-04 06:53:36

思考:数据“大爆炸”时代,如何正确看待云计算?的相关文章

KDD 2017现场探营:务实、丰富,数据大爆炸的盛会即将开启 | KDD 2017

ACM SIGKDD(国际数据挖掘与知识发现大会,Conference on Knowledge Discovery and Data Mining,简称KDD大会)是世界数据挖掘领域的最高级别的国际会议,由ACM(Association of Computing Machinery,计算机学会)的数据挖掘及知识发现专委会(SIGKDD)负责协调筹办.随着大数据时代的到来,KDD大会影响力也与日俱增,为领域研究成果的展示和实践经验的交流提供了一个理想的平台.2017年8月13-17日,第23届K

信息大爆炸时代

信息大爆炸时代,招聘环境对于求职者和企业都已经发生了巨大的改变.网络招聘平台的简历投递曾一度因其"便捷.快速"的优势极大地简化了求职者投递简历的过程,而彻底取代了纸质简历.邮寄投递的传统模式,成为求职者的首选.但随着网络招聘的不断发展,这种便捷反而造成求职者海投简历.企业招聘工作人员必须应对海量的求职信息,让企业招聘工作变得日益繁重,进入恶性循环. 由于网络覆盖面广.信息量大.方便快捷反而引起网络招聘从高效变得低效,这一奇怪的现象已经引发业内众多学者研究人员和相关从业人员的关注,并已经

曙光ParaStor云存储助央视应对数据大爆炸

如今,拥抱新媒体的广播电视行业已经全面走向高清化.网络化.数字化改造和发展道路,这对传统存储系统的性能和容量提出了巨大挑战.作为中央电视台旗下的新媒体创新龙头,央视国际移动传媒有限公司(以下简称:央视移动)的媒资系统正进入一次数据大爆炸的阶段,存储系统中的影像资料和每日流转的数据已成天文数字.为此,央视移动携手中国高性能计算领导者和云计算领先企业曙光公司,利用ParaStor云存储系统形成了高带宽.高可靠.高安全.高可扩展,易管理的数据存储新平台,推动了媒资信息化工作加速前行. 海量数据汹涌而至

阿里王坚:数据大航海时代为什么中国人可能是第一个出海互联网的?

2016-12-07 来源:水煮通信 作者:陈志刚 如果把互联网比作"大海",那么可能中国人将是第一个出海能够发现"新大陆"的人!这个观点略微有点令人惊讶.这是阿里巴巴集团技术委员会主席王坚博士在12月5日于清华大学举办的他的新书<在线>在掌阅阅读平台首发活动中,面对以清华学生为主的听众,提到的一个观点.王坚的身份除了是在线一书的作者,也是阿里云和YunOS的创始人. 是中国不是美国:承担互联网出海的使命 思辨和逻辑始终是王坚的长项,他对他的听众们说:&

亿赞普:数据大爆炸背后的外贸机会

罗峰 创业ID 亿赞普科技有限公司 创立时间2008年 创立地点北京 创始人罗峰 融资记录不详"估值10亿美元" 亿赞普一端处理着各国运营商合作伙伴的海量数据,一端编织着一张大小网站媒体的联盟网络.创始人罗峰在他这个基于PC互联网的"广告联播网"上游刃有余,来自运营商的用户数据资源给了他挑战谷歌等其他互联网广告产品的野心,他甚至想到在这张广告联播网上玩外贸B2C. 被"荒废"的数据资产 亿赞普每天处理的数据流量超过100T,创始人罗峰认为这些数据

《大数据漫谈 -- DT时代》连载之 NO.1

免费开通大数据服务:https://www.aliyun.com/product/odps 本文作者拖雷(陈吉平),袋鼠云CEO ,国内最早一批Oracle ACE Director,前阿里巴巴研究员,先后担任嗨淘.无线事业部.数据事业部资深总监,生活服务事业部总经理,以及阿里云事业群总裁助理.2015年离职后,做了半年独立天使投资人,2015年底创办袋鼠云. 人类正从IT时代走向DT时代,从五年前开始,我们在云计算上面押了很多宝,才诞生了互联网金融,如果没有数据支持,互联网金融是不可想象的.

制造企业要如何正确看待大数据?

互联网发展到今天,大数据.云计算成为热词,但是究竟什么是大数据,和数据有什么区别,却鲜少有人了解.在制造业转型之时,大数据又是如何发挥它强大的作用,今天我们就来说说大数据的那些事. 何为大数据? 大数据,指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产.这样说定义或许很难理解,其实简单来说,大数据就是收集和分析大量信息的能力,而这些信息涉及到人类生活的方方面面,目的在于从复杂的数据

大数据爆炸时代 企业云存储该怎么玩?

个人云存储服务早已迈向免费时代,市场对企业级别云存储的需求更加迫切.面对这样的市场趋势,企业级云存储市场的"圈地运动"呼之欲出,"免费"二字成为了各家的新玩法. 随着移动互联网的迅速发展,智能终端.可穿戴设备.智能家居.物联网以及基因测序正在快速普及.企业和用户每天接触的数据吞吐量呈现出指数级的增长趋势,我国社会正在步入大数据爆炸的时代. 大数据时代降临的今天,个人云存储服务早已迈向免费时代,而中国各行各业的互联网化与现实世界数据化的趋势,计算和应用都更加需要集中化

时代新思考:大数据是不是互联网思维?

文章讲的是时代新思考:大数据是不是互联网思维,大数据在移动互联网时代显得越来越重要,不仅仅是因为用户的习惯碎片化的趋势明显,更多的是因为在营销多元化情况下用户选择繁多.把握用户属性和用户有效转化是不论传统还是创新企业都同样要面对的问题. 在大家都在探讨互联网思维的时候,到底什么是互联网思维?各家有各家的说法,但是万变不离其宗的是离不开的数据挖掘和分析应用. 关注大数据,关注互联网思维,并不是大家茶余饭后的闲聊话题,大家的目标是提高商业运营效益.但要说两者有什么关联,大数据并非是新鲜事物,那就让我