数据量爆发式增长 物联网引入大数据技术迫在眉睫

  根据IDC公布的数据,2005年由M2M产生的数据占全世界数据总量的11%,预计到2020年这一数值将增加到42%。这一比例表明,物联网快速发展的同时也制造了海量数据,如何妥善处理及合理利用这些海量数据是物联网下一步发展的关键。”在近日由中国电子学会召开的2013(第四届)中国物联网大会上,中国工程院院士邬贺铨强烈呼吁。

  然而,无论是大数据,还是物联网,在我国都处于起步阶段,至于两者的交叉领域目前人们更是涉及甚少,而物联网所产生数据本身的复杂性,更是进一步加大了物联网领域大数据落地的难度。

  几何级数增长

  形象地讲,物联网是物体对外界进行感知并做出反应的过程,在这一过程中,无论是感知外界还是做出反应,都涉及数据的产生和处理。尤其是在某些领域,比如安防、移动医疗、智能交通,更是由于应用的特殊性而会产生海量数据。

  以安防为例,为了有效发现异常情况,系统需要对所监控的区域进行7×24小时监控,这就会产生海量的视频数据,出于事后追踪的考虑,这些数据往往需要保存一段时间,此外,系统还需要对不同时刻的数据进行对比分析,以便能够在异常情况发生时做出及时反应。而在移动医疗领域,为了实现不同地点之间医生资源的共享,统一标准的病情诊断不可或缺,因此很多医院都主张对患者进行CT检查,而一个病人的CT往往会达到几十个GB,按照每年我国住院病人多达两亿人次,以及患者的数据通常需要保留50年以上的规定,由移动医疗产生的数据量也相当可观。

  使得情况进一步严峻的是,在ITU等看来,物联网所需要分析的数据,不仅仅是传感器收集到的数据,还应该包括虚拟物件所产生的数据,因为只有将物联网数据放在虚拟网络产生的数据的大背景下,才能挖掘出更大的数据价值,目前来看,这些数据主要来自社交网络、政务网站。而邬贺铨表示,Teitter网站每天增加2亿条微博,Facebook上每天上载2.5亿张照片,到2015年,大概1个人要用5年时间才能看完互联网上一秒钟所传的所有视频,由此可见互联网上数据量之庞大。

  尽管数据呈现海量增长态势,数据的处理能力却没有同步增长。“全球新产生的数据每年增长40%,全球信息总量两年就可以翻番,而对新增数据的处理能力以及利用率的增长则不足5%。”邬贺铨表示。因此,加快引入大数据技术以推进物联网发展已经迫在眉睫。

  物联网大数据存特殊性

  物联网运营者也认识到了大数据运用的重要性。中国电信股份有限公司上海研究院院长李安民表示:“根据实际经验,的确在很多应用中,物联网不仅仅是单一的物联网技术,还涉及对大数据、云计算等技术的有效融合。物联网的普及将城市引入大数据时代,我们需要关注大数据的应用需求,从技术、业务、商业模式等方面提前做好应对。”

  不过,大数据的在物联网的应用并非那么简单。这首先是由物联网数据的特点决定的。

  邬贺铨认为,物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、有噪声的,其增长率非常高,从而增加了数据处理分析的难度。此外,物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息,物联网数据也是社交数据,但这又不是人与人的交往信息,而是物与物、物与人的社会合作信息。因此,物联网的混搭使得只有将物联网的数据与通过社交媒体所获得的数据以及政府发布的信息相结合,才能方便系统做出更科学的决策。

  抛开物联网领域的特殊性,大数据产业自身发展也存在一些障碍。虽然近年来大数据概念火热,然而大数据的发展呈现出了不平衡性,一方面是技术发展较快,另一方面如何从大数据中获取价值,现在仍在讨论阶段。尤其是电信运营商,虽然也认识到了大数据的价格,但是对于自身在大数据产业中的定位,以及大数据的商业模式,现在还没有形成清晰统一的认识。这一状况制约了大数据的发展,从而也影响了大数据在物联网领域的应用。

  大数据和物联网可相互推动

  考虑到大数据在物联网领域应用的紧迫性和相对落后的状况,邬贺铨认为加快引入大数据已经刻不容缓。针对海量数据的特点,邬贺铨认为,虽然数据资源非常重要,但是许多数据是复杂冗余的信息,比如在视频监控中,人们需要关注的是视频信息中的异常事件,而不是常规的、没有变化的数据,因此要兼顾分析历史数据和新的数据,压缩掉那些重复的数据,重点保存分析异常的突发数据。

  颗粒化、非结构化数据也是物联网中大数据的一大特点。尽管这种特性的数据处理起来非常复杂,然而它们对系统作出正确的决策至关重要,因此解析非结构信息是不可忽视的重要环节。此外,还可以通过统一物联网架构设计,将非结构化的数据变得结构化,将不同系统之间不同结构的数据尽可能地统一。

  不同部门之间数据信息的共享有助于物联网发挥更大的价值,因此邬贺铨认为,虽然目前看来将电力、交通、工业等不同行业合为一个物联网不大可能,但是将不同行业的数据信息进行共享还是可行的。

  而对于大数据商业化进度相对滞后的问题,有专家认为,一方面物联网的发展需要业界加快对大数据应用模式和商业模式的研究,另一方面物联网的应用也有助于明晰大数据的商业模式,为大数据发展提供契机。

时间: 2024-09-20 05:31:21

数据量爆发式增长 物联网引入大数据技术迫在眉睫的相关文章

数据中心爆发式增长 安全问题仍“压力山大”

近年来,作为互联网.云计算.大数据发展的重要基础设施,数据中心建设备受关注.近日,记者从2017开放数据中心峰会获悉,如今的数据中心已从最初简单的"数据仓库",发展成为数据交互.信息处理和数据分析的数据综合管理平台. "2010年以来,我国数据中心产业实现高速增长,市场规模平均每两年翻一番.随着以互联网为核心的新一轮科技和产业革命的蓄势待发,物联网.人工智能.虚拟现实等新技术日新月异,数据中心有望迎来新一轮的建设高潮.同时,新技术.新业态对数据中心IT设备.网络的要求逐渐提高

大数据量-ajax跨域请求较大数据

问题描述 ajax跨域请求较大数据 请求一个url返回数据量较大(约10M),格式是一个二维数组[[123][xxx]...]由于存在跨域问题,所以去servlet中发起请求,然而再返回前台时浏览器卡死了.那么怎么直接在ajax中去跨域请求这个地址并接收返回的数据?或者怎样在后台中接收返回前台但不会造成浏览器挂掉? 我在后端用httpclient去请求有问题. 解决方案 ajax跨域请求数据 解决方案二: 应该不是数据的问题,是你使用数据的代码有问题..10m数据要生成dom肯定比较耗时,如果是

勾勒物联网与大数据的数据中心路线图

从数据中心的角度看,物联网和大数据项目几乎总是强调网络和存储基础设施.规划人员在组织内开始实施这种大规模数据密集的项目之前,需要仔细地评估基础设施的需求. 传统的商业智能项目建立在不同于大数据项目的需求和理解的基础上.典型商业智能从清晰的想法开始尝试,必须经得起推敲,什么数据可用或必须收集来回答这些问题,需要上报何种结果,组织内谁需要这些结果.此类项目几十年来一直是企业级IT的基础. 物联网(IoT)和大数据聚焦在不同的侧重点.他们会提问:如何提出正确的问题;问题是哪些,如何解决以更好地为客户服

大数据之父舍恩伯格:大数据的核心要义在于共享

8月25日,2016IEBE(上海)国际电子商务博览会暨互联网+科创应用展"智享生态联接未来"高峰论坛在上海举行.大数据之父舍恩伯格出席了本次论坛,他与参会者探讨了大数据时代电子商务未来的发展趋势.他表示:"电子商务是更高效的交易,让两个交易方进行更高效的撮合.大数据给我们最核心的好处是让我们再回到买方和卖方的场景,帮助我们修正对世界的认识." 他同时还提到了大数据时代的一个问题:当数据和数据分析本身被我们进行分析的时候,有的时候,时间成本会更高.此时我们应该怎么办

大数据将带来新一代安全产品爆发式增长

新IT时代,移动互联网和云计算的崛起撬动了基于大数据应用的庞大商机.但同时,风险也随即不请自来.通过互联网,海量数据"唾手可得",尤其是企业内部工作人员移动终端设备(BYOD)的使用大大增加了高级持续威胁(APT)的可能性.当越来越多的企业为了控制成本而将业务流程通过云进行外包,云里的数据是否安全?虽然近两年中国政府在 云计算领域出台了较多扶持政策和资金支持,但并未有具体的云计算运营和安全保障的相关法律法规出台.对企业来说,一旦数据遭到威胁,损失将无法估量.在海量数据面前,传统的信息安

物联网、大数据、云计算支撑智慧城市

"冰箱里还剩1个苹果,是否需要订购?"你的手机收到冰箱自动发来的短信.不用回复,根据提前的设定,冰箱将自动向网上商城下单,并提示你用手机在线支付. 5月21日,在河北联通智慧城市体验厅,工作人员尹芳向记者展示了智慧家电等未来智慧城市的应用. 我省石家庄.秦皇岛等6个设区市,已被列为首批国家智慧城市试点.截至目前,我省11个设区市政府都同互联网运营商签署了智慧城市战略合作协议. 感受智慧城市迫近的脚步,或许世界将为之改变."城市智慧化,变化润物而无声."河北联通产品运

大数据导论之为何需要引入大数据

一.引言 最近各种客户咨询项目中,往往涉及大数据引入必要性和价值意义的深层次挖掘,客户有数据,有平台,但是不知到底要不要上大数据,为何要上大数据和大数据可以带来哪些价值和意义.本文关于大数据的必要性进行阐述,来源实际项目,算是分享吧. 二.突破技术瓶颈 互联网技术催生了大数据时代的来临,大数据时代的数据形态有四大特点:首先数据体量巨大,非结构化数据的超大规模和增长占总数据量的80%至90%,比结构化数据增长快10到50倍:其次.大数据的异构和多样性,比如图片.新闻.博客.微博.微信等,比大更重要

肯尼亚的互联网应用在一年后将出现爆发式增长

新华网内罗毕4月23日电(记者 王晨曦)肯尼亚最大电信运营商萨法里公司预测,肯尼亚的互联网应用在一年后将出现爆发式增长.萨法里公司计划新铺设主干光纤电缆,为应对随之而来的"数据海啸". 据肯尼亚<商业日报>报道,萨法里公司首席执行官鲍勃·克里默称,由于肯尼亚移动互联网市场发展迅速,手机等移动设备以及各种互联网应用程序迅速增长,用户对互联网的数据传输带宽和速度要求越来越高,在未来12月至18个月将迎来"数据海啸",即数据流量好像海啸般爆发式的增长.为此,公

业务爆发式增长 电商 IT 系统如何保证高可用?

对于各个电商平台来说,由于电子商务.互联网+.O2O 等各种概念的冲击,电商的业务形态及用户规模都不尽相同,各大电商公司也都在摸索适合自己业务高速发展的技术和业务架构.其中最关键的一点就是,如何才能让自身的基础设施满足企业业务不断发展的需求?如何才能在业务爆发式增长的前提下保证 IT 系统的性能.可靠性?今天的内容主要集中在如何保证业务爆发式增长背后的电商 IT 系统高可用.
 什么是电商平台的高可用? 1.核心业务的"永动机" 由于电商业务系统承载着商品展示.线上支付.物流跟踪.抢购