物联网驱动下的大数据管理

导言:物联网的价值在于其数据,而物联网带来的史无前例的数据规模将驱动现在的数据服务企业发生根本性改变,这要求企业调整其大数据战略。

iDoNews 业内人说 第369期 7月9日 ( 微信号 iLoveDonews )

具有“大数据时代预言家”之称的维克托·迈尔曾经在自己的著名论著《大数据时代》中预言——物联网(IOT)技术的发展将极大地改变传统数据存储分析领域。这就难怪有那么多的公司正试图投身物联网大潮。据麦肯锡全球研究院的最新报告显示:到2025年,物联网行业的总营收将达6.2万亿美元。

但正如维克托担心的一样——这些弄潮儿们真的为物联网将造就的大数据时代做好准备了吗?

当然,除了技术层面的考虑,安全问题也不容忽视。但是,笔者更关心的是:全球大多数的数据中心(包括那些专门非盈利性的数据存储和分析机构)对由物联网即将带来的海量数据似乎毫无准备。

当然有一些科技公司仍然坚持认为自己完全有能力管理好自己的数据中心,但是当数据量以PB或者EB为单位增加时,不知道这些公司是否还认为笔者庸人自扰?如果依旧固执己见,那么他们就不得不对相应的基础设施进行大笔的投资。而相对聪明的公司会选择业界领先的云存储公司作为自己的战略同盟。所以,由物联网引起的大数据潮流将会助推云存储和云计算的发展。

物联网产生的大数据处理过程可以归结为三个基本步骤:数据采集、数据存储和数据分析。数据采集和存储是基本的功能,而大数据时代真正的价值蕴含在数据分析中。对于大数据时代的到来,有专家曾经估计有半数以上的大数据公司可能夭折,而原因是他们未能掌握数据采集相关技术。当然也并不是说过了数据采集这个难关就可以万事大吉,接下来在数据存储方面仍有一连串的挑战。比如,公司必须掌握如分布式计算、并行计算等先进的存储计算方法。

2009年,甲型H1N1流感病毒肆虐全球。与流感病毒传播速度相比,美国政府对流感病例的申告制度显得效率低下。这时候人们才重新注意流感病毒爆发前几周,谷歌公司几位工程师在《Nature》上发表的一篇文章。在文章中,谷歌公司通过对全美境内5000万条最频繁检索的词条和美国疾控心公布的季节性流感传播数据进行比较发现:在未来一段时间很可能爆发一次大规模的流感疫情,而且清楚预测出了具体的地区和州。最后疫情爆发的时候,疾控中心惊讶地发现谷歌公司的预测竟然与疫情爆发地精准吻合。所以,对于大数据时代而言真正的意义在于数据分析。

数据分析的挑战还在于将新的物联网数据和已有的数据库整合。iDoNews认为,有两个方面最令人头疼。首先,软件方面——原来的数据库与物联网数据库之间使用的存储方法不同,这时候就要求公司不得不靠大量的人工重新定义原来的海量数据。第二,硬件方面——两种数据库之间所使用硬件介质(服务器、磁盘等存储介质和网络等基础设施)不同,这将导致公司需要进行更大规模的基础设施建设。

这时候如果还有公司想靠自己一方的努力管理本公司数据,那无疑是作死。

为此,真正有眼光的企业可以采用如下三种方案:

第一种,也是最流行的方式——利用成熟的第三方数据库服务(DBaaS),如亚马逊的Redshift.这种模式的优势在于,客户公司不需要具备安装、管理和运行任何大型数据库的经验和技术。

第二种,利用大数据托管服务。托管服务供应商(MSP)将负责数据收集、数据库管理并提供进行分析和提取数据集的服务。这种模式不仅使企业专注于其商业价值所在的数据分析而将一些较难处理的事情外包,而且还使企业用户无需大量先期投入就可以快速进入大数据应用的市场化阶段,同时也解决了很多企业在该领域的技术短缺。

第三种,基于云计算的数据库矩阵解决方案。这种模式主要针对那些具有多种不同类型、甚至非联系型数据库的公司。这些公司通常要求数据存放于多个数据中心,并且既存于公共端也可能存在私有的云端。公司不仅要求不同类型数据库的解决方案,而且对自身的大数据也有不同的应用需求。美国主机服务商ServePath下的GoGrid云计算平台正致力于这种数据库管理服务。

物联网的价值在于其数据,而物联网带来的史无前例的数据规模将驱动现在的数据服务企业发生根本性改变,这要求企业调整其大数据战略。

等着瞧吧,物联网必然催生出大数据管理领域的大赢家。

(作者陈小春,首发至iDoNews专栏,转载时请注明来源和出处。)

时间: 2024-08-03 12:33:43

物联网驱动下的大数据管理的相关文章

NVIDIA 深度学习部门总监 Jim McHugh :AI 驱动下的大数据之路已铺好

编者按:无论是打败世界冠军的 AlphaGo,还是百度无人驾驶.阿里和腾讯的人工智能都在使用 NVIDIA 的芯片组,它在人工智能领域扮演着大脑的角色.无论软件公司研究出多么先进的算法,最终都需要处理器来进行运算,没有它们的支持,人工智能的良性发展也就无从谈起. 最近,NVIDIA 深度学习部门总经理 Jim McHugh 接受了国外媒体 InsideBigdata 的访谈.从他在 2016 年纽约 Strata + Hadoop World 大会上的发言开始谈起,Jim 讲述了他对 AI 驱动

纳米技术系列:物联网的下一个大事件竟来自极小之处

目前,物联网(IoT)以及互联设备和传感器已快速渗透到了人们工作和生活的方方面面.这些技术发展神速--不过暂且打住,现在我们该认识一下纳米物联网(IoNT)了.总体而言,它的概念与物联网相同,但却存在于极微小的尺度上--仅相当于毛囊的1/80,000. 对,这就是一纳米的长度.换言之,一英寸等于25,400,000纳米,人类DNA螺旋体的直径约为2.5纳米. 那么纳米技术是什么?纳米物联网又是什么? 对于纳米技术,你或许已经并不陌生,但这里还是有必要简要介绍一下.Nano.gov对纳米技术的定义

BAT下的大数据创业机会

(本文转自阿里云大数据孵化器团队的产品专家:九卿发表在知乎上的文章,以下原文分享给大家) 本人目前在A从事2B的大数据解决方案与产品设计工作,以大数据商业化为目标,各行业客户都有,简单跟大家分享下我们目前的大数据落地实操经验. 一.厚积薄发:BAT平台的优势 大数据平台就个人来看,A应该算做的比较好了,从云计算的布局到大数据平台,步步为营,也是筚路蓝缕.大公司的优势在于三个字"熬的起".业务几乎都是以平台.生态的构建为目标,最终是enable别人成功,并从别人成功中获益的模式. 在这个

《大数据管理概论》一2.6 大数据融合的驱动枢纽

本节书摘来自华章出版社<大数据管理概论>一书中的第2章,第2.6节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 2.6 大数据融合的驱动枢纽 数据融合与知识融合是一个相互启发.相互协调.逐步融合的过程,两者之间需要一个纽带进行衔接,我们把这个衔接纽带叫做智能晶格.此外,数据融合与知识融合还受一些共同因素的影响,如动态演化性.海量性和高速性,这些因素直接影响融合技术. 2.6.1 智能晶格 智能晶格的本质功能是用于桥接数据融合和知识融合,并对外提供使用接口,它

南沙发布全国首个智慧城市物联网大数据管理平台

记者从近日举行的2017广州国际照明博览会(光亚展)上获悉,由中科院孵化的南沙企业--中科智城软件有限公司正式发布了其研制成功全国首个"智慧城市物联网大数据管理平台"(以下简称"管理平台").管理平台够将物联网设施和应用系统的数据统一进行智能分析.并联动处理,从而赋予城市感知.思考和行动的能力,解决了一直以来横亘在智慧城市建设者面前的重复建设和信息孤岛问题. 智慧路灯在南沙投入使用. 全区有8个"智慧灯杆" 在南沙万达一号门前方,有一盏特殊的路灯

大数据知易行难:如何落实技数驱动下的营销价值创新?

9月12日,腾讯智慧峰会在北京召开,腾讯网络媒体事业群副总裁.广告客户部总经理栾娜,SAP全球副总裁.大中华区首席营销官孙丽军.京东集团副总裁颜伟鹏.腾讯网络媒体事业群渠道业务部总经理道峰,围绕"技数驱动下的营销价值创新"主题展开讨论. 对于目前大数据的使用方式及效果,颜伟鹏表示,目前京准通的模式是找到对产品特别感兴趣的用户,并通过腾讯平台找出类似用户. 他以SK-II为例提到,"之前京东帮助SK-II一天之内挖到一万粉丝,这是以往一个月的量",这对SK-II曝光量

新华网:南通市创新大数据管理应用取得显著成效

近年来,南通市抢抓新一轮信息技术变革机遇,充分挖掘和利用海量数据资源中蕴含的巨大价值,走出了一条以大数据推动创新驱动发展的新路. 南通市历来高度重视大数据工作,将其作为深化供给侧改革.提升治理能力和服务社会民生的重要抓手,强化责任,狠抓落实,取得了阶段性成效,也暴露出一些问题.如:旧有模式下,经信委负责工业和信息化,网信办负责信息安全,智慧办负责基础设施建设,缺乏专门部门进行统筹,大数据管理呈现"蜂巢式"结构和"碎片化"特点.海量数据在政府各部门分别产生.各自收集.

《大数据管理概论》一3.3 基于新型存储的大数据管理

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.3节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.3 基于新型存储的大数据管理 闪存.PCM等新型存储的物理特性.读写特性等均与磁盘有着显著的不同,而目前已有的大数据数据库,其设计理念均是基于磁盘存储,在面对闪存.PCM等新型存储时并不能最大限度发挥新型存储的性能.目前,在基于新型存储的大数据管理方面也有一些研究工作,包括大数据存储.大数据索引.大数据查询和大数据分析等. 3.3.1 存储管理

《大数据管理概论》一导读

|前 言 陈寅恪先生说:"一时代之学术,必有其新材料与新问题.取用此材料,以研求问题,则为此时代学术之新潮流.治学之士,得预于此潮流者,谓之预流(借用佛教初果之名).其未得预者,谓之未入流."对今天的信息技术而言,"新材料"即为大数据,而"新问题"则是产生于"新材料"之上的新的应用需求. 对数据库领域而言,真正的"预流"是Jim Gray和Michael Stone-braker等大师们.十三年前面对&qu