大数据与云计算和物联网之间的关系

大数据时代的到来,是全球知名咨询公司麦肯锡最早提出的,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

《互联网进化论》一书中提出“互联网的未来功能和结构将于人类大脑高度相似,也将具备互联网虚拟感觉,虚拟运动,虚拟中枢,虚拟记忆神经系统” ,并绘制了一幅互联网虚拟大脑结构图。

根据这一观点,我们尝试分析目前互联网最流行的四个概念————-大数据,云计算,物联网和移动互联网与传统互联网之间的关系。

从这幅图中我们可以看出:

物联网对应了互联网的感觉和运动神经系统。

云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽。

大数据代表了互联网的信息层(数据海洋),是互联网智慧和意识产生的基础。

包括物联网,传统互联网,移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。

作为数据存储巨头,大数据理念是,首先从“大”入手,“大”肯定是指大型数据集,一般在10TB规模左右。很多用户把多个数据集放在一起,形成PB级的数据量。同时从数据源来谈,大数据是指这些数据来自多种数据源,以实时、迭代的方式来实现。

物联网所需要感受的物件对象范围非常之宽,物联网收集数据,我们刚刚说虚拟东西也是物联网对象,我们看很多东西收集,如浏览器、搜索引擎、智能终端、游戏终端、GPS等,他通过大家日常网络留下痕迹和脚印获取大量的数据。

物联网产生大数据。美国人前几年医院一年产生500个数据,IMT1。4TB数据等各种的数据通过传感器产生,也有在网上直接产生的,我们现在处于大数据时代,物联网一分钟可以产生非常多的东西,苹果下载2万余次,一分钟会上传10万条新微博,全世界物联网上虚拟网络上,产生了大量的数据。

国外的这些公司数据量不一定有中国大,中国淘宝网在双十一一天创收10。5亿,新浪微博晚上有100万以上的响应请求,中国联通也进行大数据搜集,他们以前给用户每一个月发一个帐单,很多用户认为我没有上这么多,中国联通改制就详细记录客户的上网记录一秒钟83万条。

虚拟运行管理产生数据量更大,这个比较是美国,每天是80个,发动机引擎收据588,企业资源管理客户关系管理等现在是大数据,企业本身也是每时每刻产生大量数据。

2012年IDC公司指出在2005年由机器产生的数据占到数据总量的11%,2020增加到42%。比如说医疗,现在到医院看病都要CT,清晰度很高300多兆,一个病人CT影响往往多大两千幅,数据量已经到了几十个GB,如今中国大城市的医院每天门诊上完人,全国每年住院已经达到了两亿人次,按照医疗行业的相关规定,一个患者的数据通常需要保留50年以上。

物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的,更大的不同是它的高增长率。物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据,但不是人与人的交往信息,而是物与物,物与人的社会合作信息。

物联网的混搭将使物联网的数据变得更有用,将物联网感知的数据与通过社会媒体获得的数据结合,也就是人跟机器的社会联网,将使决策更科学。

与隐私与法律有关的特殊性,谁是物联网数据的拥有者,通过物联网可以控制家用电器。

最后,大数据助力物联网,不仅仅是收集传感性的数据,实物跟虚拟物要结合起来。今天北京交通堵塞,但是并不知道堵塞原因,如果政府发布消息和市民微博发布消息结合起来就知道发生什么事,物联网要过滤,过滤要有一定模式。

决策的时候还要考虑发布什么东西,会带来什么影响,最近有地震,他能预测60%地震,总有一天会说准。

物联网数据挖掘涉及到数据存储,从实物虚拟物获取存储,然后进行一些虚拟化和找出数据摘要,是要加标签的。

数据挖掘模式,合并压缩、清洗过滤、格式转换,法阶段数据分析、知识发现、可视化、数据阶段,关联规则,分类、聚类、序列、路径。因此后面工作更大更重要而且更难。

最近大家关注PM2.5,另外云南西北边、西川西南边干旱容易发生火灾,利用雷达、飞机可以搜集数据,也需要进行分析,然后产生判断。

在水面取样,通过卫星发出去,利用云计算、中心数据挖掘,河流的环境污染,数字化的模式,我们可以发现有的地方有环境污染,所污染本身需要异源数据,除了传感器、物联网数据有噪声的不干净的,所以需要多种数据的结合,历史数据的挖掘,然后进行分析预感、预警,所以数据后面的处理,食品现在也是大家所关注的,手机拍下来食品到后台去查,是哪个公司的食品,在什么地方生产,食品生产日期等等,包括食品安全不安全,营养成分怎么样,食品监控,运用后台数据等等。最近禽流感流行,怎么去监测,凡是产生流感病人在网上寻找,吃什么药好,哪个地方看病好,或者微博交流。

智能交通虚拟化和可视化。交通管理中心再大,也装不上所有的视频,因此10秒钟,这样看上去每时每刻只有能够监控很小一部分内容,通过软件把整条路上变成一个视频,再进一步我把所有马路都通过大数据软件后台分析组成图象,这图象像上海市领导人坐飞机俯视地面一样。所以这些都是后台数据分析。

大数据在社会管理上有很好的作用。美国纽约的警察分析交通用度与犯罪发生地点的关系有效改进治安。北京交通一卡通每天产生4千万条刷卡记录,地铁每天1千万人次,分析这些数据可改善城市交通状况。新加坡的公共交通部门十年来已经使用个人位置数据做交通需求的预测。荷兰的交通部门利用移动电话的定位功能预测汽车和行人的拥堵状况。

最后讲M2M的总量,全世界的M2M到2011年将有20亿,2020年180亿,预测2020年有500亿连接,主要是在消费电子和智能建筑两个领域,将占70%。

2011年M2M全市场为2000亿美元,2022年12000亿美元,三分之二收入来自设备与安装,三分之一来自服务,2020年最大的M2M市场在中国和美国,分别占20%和19%。

经济学人预测物联网所带来的产业价值将比互联网大30倍,物联网将成为下一个万亿元级别的信息产业业务。

本文作者:it168网站原创

来源:51CTO

时间: 2024-09-30 18:26:02

大数据与云计算和物联网之间的关系的相关文章

一张图破解大数据,云计算,物联网和移动互联网的关系

我们在<互联网进化论>一书中提出"互联网的未来功能和结构将于人类大脑高度相似,也将具备互联网虚拟感觉,虚拟运动,虚拟中枢,虚拟记忆神经系统" ,并绘制了一幅互联网虚拟大脑结构图. 根据这一观点,我们尝试分析目前互联网最流行的四个概念-大数据,云计算,物联网和移动互联网与传统互联网之间的关系. 从这幅图中我们可以看出: 物联网对应了互联网的感觉和运动神经系统. 云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽. 大数据代表了互联网的信息层(数据海洋),

李克强:促进大数据、云计算、物联网广泛应用

国务院总理李克强5日作政府工作报告时说,<国民经济和社会发展第十三个五年规划纲要(草案)>明确了今后五年经济社会发展的主要目标任务,提出了一系列支撑发展的重大政策.重大工程和重大项目,突出了以下六个方面. --保持经济中高速增长,推动产业迈向中高端水平.实现全面建成小康社会目标,到2020年国内生产总值和城乡居民人均收入比2010年翻一番,"十三五"时期经济年均增长保持在6.5%以上.加快推进产业结构优化升级,实施一批技术水平高.带动能力强的重大工程.到2020年,先进制造

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)

1. HADOOP背景介绍 1. 1.1什么是HADOOP 1.        HADOOP是apache旗下的一套开源软件平台 2.        HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.        HADOOP的核心组件有 A.       HDFS(分布式文件系统) B.       YARN(运算资源调度系统) C.       MAPREDUCE(分布式运算编程框架) 4.        广义上来说,HADOOP通常是指一个更

物联网催热“大数据、云计算” 引爆传感器产业链

随着工业互联网崛起,物联网3.0时代悄然来临,传感器产业链将迎来爆发式增长.中科院上海微系统所所长王曦此前在科技节的演讲上表示,"传感器是提升我国现代信息技术.带动产业化发展的最好突破口. 有数据显示,到2020年,物联网解决方案市场规模将达到7.2万亿美元,中国市场的年复合增长率将达到20%,大数据及云计算也将真正体现其高附加值,物联网还将在可穿戴.智慧城市和工业4.0中大放异彩. 随着工业互联网迅速崛起,物联网3.0时代悄然来临,一个产值达数万亿的市场摆在了企业家们面前."对物联网

北京市大数据和云计算发展行动计划 (2016-2020年)

原文发布于2016-08-23,来自国家信息中心软件评测中心 北京市大数据和云计算发展行动计划  (2016-2020年) 为深入贯彻落实<国务院关于促进云计算创新发展培育信息产业新业态的意见>(国发[2015]5号)<国务院关于印发促进大数据发展行动纲要的通知>(国发[2015]50号)<国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见>(国办发[2015]51号)等文件精神,全面推进本市大数据和云计算发展,特制定本行动计划. 一.总体要求 (一)指导思想

地理信息技术需要与大数据、云计算等跨界融合

"当前,我国经济发展进入新常态,新一轮的科技革命.产业变革形成历史性的交汇,测绘地理信息事业也正处于大有作为的重要时机.信息化正引发各个领域生产模式.商业模式.管理模式的变革和创新,对经济社会发展和百姓生活各个方面都产生了重要影响."日前,国家测绘地理信息局副局长李维森在京召开的2017测绘地理信息高端论坛会上如是说. 国家测绘地理信息局国土测绘司副司长陈军在会上说,当前,大数据.云计算.物联网.移动互联.人工智能等新技术快速发展,迫切需要将地理信息技术和这些新技术跨界融合,取得更多的

物联网、大数据及云计算技术在煤矿安全生产中的应用研究

物联网.大数据及云计算技术在煤矿安全生产中的应用研究 马小平  胡延军  缪燕子 阐述了物联网.大数据及云计算技术的研究现状,指出3种技术之间的关系,即物联网产生大数据,大数据助力物联网:大数据需要云计算,云计算增值大数据.结合煤矿综合自动化的建设发展历程,研究了3种技术在煤矿安全生产保障中的作用和地位,提出了3种技术在煤矿生产安全保障中的关系:物联网是煤矿各个子系统建设的技术框架和路线图,大数据是矿山物联网建设的产物,云计算则是对大数据处理利用的技术手段,并指出基于物联网.大数据及云计算技术的

移动技术、大数据、云计算之于物联网 成功OR毁灭

随着物联网不断发展,今天我们再来讲讲移动技术.大数据与云计算对物联网的影响.  移动技术 说到移动技术,我想大家跟我一样对移动设备与移动应用在21世纪的创造记忆犹新. 据估计2015年底移动设备数量将超过全球人口总数. "物联网对移动领域是仙丹还是毒药?" 移动技术是物联网未来的重要一环,它改变了我们生活的方方面面. 对已经使用了物联网的机构所做的分析显示用户更偏好于享受现成的移动应用.事实上开发者应着力于为用户提供更强有力的控制,以便用户可以随意操控家里.车里以及办公室里的一切设备.

大数据和云计算两者之间是什么关系呢?

很多人会把大数据和云计算混为一谈,他们之间的关系是比较常见的一个误区,他们之间到底是一个怎么样的关系呢?简单的来说,可以这样理解,云计算是硬件资源的虚拟化;大数据是海量数据的高效处理. 更深层一点来说,云计算就相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用;而大数据就相当于是一个比较大的"数据库",从目前的发展来看,大数据未来的发展方向近似于传统数据库体验. 大数据有数据存储,数据处理和数据分析三层,数据首先存储到存储层,然后建立相应的数据模型和数据分析来进行分