物联网时代应该采用什么样大数据策略

大数据平台 大数据中心 网络大数据(http://www.raincent.com
  互联网时代,PC、Pad、智能手机等设备无处不在,数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据,电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息,海量的数据促进了云计算,分布式技术的发展,而这些技术反过来不仅推动了Web和移动互联网的革新,也推动了物联网的飞速前进。现在,我们正逐渐迈入物联网时代,实现万物互联的愿景,如果说之前人是信息生产的主体,那么或许不久的将来设备将成为主角,它们将源源不断地产生与人相关的衣食住行信息,这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据,应该采用什么样的大数据策略呢?

  THINKstrategies 的总经理 Jeff Kaplan 在自己的博文《 当物联网遇见大数据 》中写道:

  “你不能使用现在的策略,因为可以被捕获、管理并利用的数据将更加多样化,同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者 创造性的目的 。IT部门的任务就是与业务部门一起工作,完全理解物联网方面的用例,然后寻找满足业务需求的技术。特别是,IT部门必须识别出最优的分析平台和工具,让业务用户能够获取到需要的数据,分析数据的含义并快速地做出响应。”

  Gartner公司的副总裁、著名分析师 Joe Skorupa 认为:

  “分布在世界各地的物联网设备将产生大量的输入数据,将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势 ——将应用程序集中起来以便于降低成本并增强安全性——并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中,在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。”

  Patrick McFadin则在自己的博文《 物联网:数据都去了哪里? 》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段:产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。

  第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过HTTP、MQTT和CoAP三种常用的标准协议传递数据。HTTP通用程度高,但是它的头中包含大量冗余信息,不太适合带宽比较低的场景。MQTT基于发布/订阅模型,新的设备或者服务能够非常容易地连到中央系统上消费消息。另外,它在消息大小上比HTTP更轻量,但是缺点是不包含加密标准。CoAP适合于低功耗、低带宽的场景,与MQTT的订阅模式相比它更侧重于一对一的连接。

  第二阶段则需要根据设备、网络以及功耗的限制决定是实时地收集数据还是在某个时间批量收集,同时还需要决定如何存储数据。如果是实时收集,那么必须要考虑数据库的写入速度,这对于传统的数据库而言可能是一个挑战,但是像 Cassandra 这样的NoSQL数据库却能够轻松应对。

  一旦完成了数据的收集与存储,接下来就是分析了,这才是整个过程最核心的部分。此时需要考虑需要何时使用分析结果,是否需要立即或近乎实时的分析,还是仅仅需要对历史数据进行处理。越来越多的人在使用Apache Spark分析大数据,使用Spark Streaming满足近乎实时的要求,如果将这些技术与Cassandra这样的NoSQL数据库结合在一起使用,那么开发者就能够处理并分析大规模、快速移动的数据集。

  那么是不是所有的物联网厂商都需要自己去构建相关的数据解决方案呢?也不尽然,在云计算的时代大可以利用云服务提供商的资源,以降低相关的成本,对小公司或初创公司更是如此。

  Mike Kavis最近在自己的博文《 物联网将彻底改变你的大数据策略 》中阐述了自己的方案,他认为:

  “在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设。物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化,同时也会驱动相关企业采用新的大数据策略。由于缺乏相关技能以及持续增长的数据对基础设施采购的需求,企业将逐步放弃DIY模式,转而使用PaaS和托管的解决方案,借助于数据库即服务(例如Amazon的Redshift、Hortonworks和Cloudera的企业级Hadoop)、托管的大数据服务(例如Treasure Data)以及矩阵式的数据中心服务(例如GoGrid)实现自己的物联网数据分析方案。

  总之,物联网的价值在于数据。企业对数据的分析工作启动地越快,挖掘出的业务价值就越多。而云服务提供商的目的就是通过加大相关的投入,消除数据收集、管理的风险以及复杂性,让客户能够专注于分析。”

时间: 2024-07-28 19:51:32

物联网时代应该采用什么样大数据策略的相关文章

物联网时代制造企业对大数据的运用分析

文章讲的是物联网时代制造企业对大数据的运用分析,每个人都是数据产生者.拥有者和消费者, 有人已经预言未来的时代是一个"大数据"的时代,关注大数据的人越来越多,同时 物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑.数据的采集处理应用将成为时代的发展主题. 大数据对促进供应链中的生产环节产生了前所未有的巨大影响,每个企业都有自己的规划和自己企业在运营环节的管理最佳实践,在众多的运营决策改进里面,大数据的影响包括产品设计,质量控制,客户画像等等.下面从八个方面介绍大数

物联网时代的八大工业大数据应用场景

工业大数据是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据. 随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传感器.工业自动控制系统.工业物联网.ERP.CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用,尤其是互联网.移动互联网.物联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业的新的发展阶段,工业企业所拥有的数据也日益丰富.工业企业中生产线处于高速运转,由工业设备所产生.采集和

物联网时代运营商的大数据价值

随着4G的商用和5G研发的加速,移动互联网以更快的速度带来科技行业变革,不过给建设4G.5G网络的运营商带来一个被管道化的压力.所谓运营商管道化就是电信运营商的网络建设跟不上智能终端流量增长的压力,同时电信运营商的产业链掌控力越来越受到产业链其他参与者的挑战,比如微信对短信的全面替代.网络电话对语音的侵蚀,电信运营商的作用逐渐类似于道路建设公司在高速公路上扮演的角色,提供无差别的流量功能. 不过,物联网时代的到来,万物互联带来数据量爆发式增长,作为管道提供者的运营商在大数据方面具有无可比拟的优势

企业如何更好地制定大数据策略

大数据策略会失败吗?是时候该讨论一下这个问题了.企业才刚刚掌握如何集成ERP(企业资源规划)及其他业务应用来消除业务流程中妨碍效率的孤岛.面向服务架构.软件即服务.云计算及其他现代化解决方案在协助企业实现大型应用集成过程中都发挥了一定的作用.但是如今,在大量数据的环境中组织正面临新的一系列挑战.更清楚地说,它不是一条数据流.它是由许多独立的数据流组成的,使数据互相分离或者就像以前的企业应用那样将孤立起来. 这不是因循守旧 这些数据中有许多都不像那些企业用处理的数据那样.在大规模结构化数据环境中,

IBM大数据策略“以全取胜”

大数据时代来临已经成为企业领导者的共识.IDC研究表明,数字领域存在着http://www.aliyun.com/zixun/aggregation/36888.html">1.8万亿GB的数据.企业数据正在以55%的速度逐年增长.近期IBM对64个国家及地区从事19个行业的1700名首席营销官开展的最新调查显示,71%的首席营销官表示他们的企业没有做好充分准备来应对大数据的挑战. 近日在IBM年度大数据战略发布会上,IBM软件集团大中华区业务分析洞察及智慧地球解决方案总经理卜晓军表示,自

真融宝:互联网金融精英时代来临 竞争依靠大数据风控

在金融行业监管趋紧的大环境下,互联网金融2.0时代正式来临.野蛮生长时代的过去并不代表竞争减少,相反,留下的精英企业会进入一个更具竞争压力的时代.在金融领域,最本质的环节便是风控,互联网金融公司要做好技术和风控之间的平衡.随着时代的发展,大数据风控进入人们的视野成为互联网金融重要的风控手段之一. 图源自网络 大数据风控是指通过运用大数据构建模型的方法对借款人进行风险控制和风险提示.与原有人为对借款企业或借款人进行经验式风控不同,通过采集大量借款人或借款企业的各项指标进行数据建模的大数据风控更为科

动荡时代:机器智能与大数据下的阴霾

文章讲的是动荡时代:机器智能与大数据下的阴霾,记得在一部科幻电影中,一群人因为外星人的到来而在楼顶狂呼欢迎,但随之而来的先是巨大飞船下的一片阴影,接下来就是外星人的一束光炮,这群人和大楼随之灰飞烟灭.有的时候我们过多关注技术好的一面,但实际上技术与对社会的重构相叠加才真正塑造未来的具体形态.技术发展下去,必会逐步挖去现有社会的存在根基,直至社会需要再平衡,全面进入一个动荡的时代.占领华尔街也许正是这种变化的一种隐晦征兆,愤懑的人们面对这种变化其实是很迷茫的,他们只知道自己是99%,却不知道应该提

大数据时代分析师 Splunk助大数据落地

文章讲的是大数据时代分析师 Splunk助大数据落地,近日,Splunk公司在北京举办了一场"大数据如何落地研讨会",为大数据技术在中国企业的落地带来了诸多的前沿观点.可以参考的实施路径以及丰富的案例. 数据爆炸时代的来临 在当前全球经济形势下行的背景下,中国的经济形势也不甚乐观,但正因为如此,中国企业对挖掘大数据价值的渴求尤为强烈,希望以此提高客户体验,促进业务的增长.根据国内市场研究机构计世资讯的研究,2012年中国大数据市场增长率为52.4%,市场规模达到3.2亿元.55%的受访

《大数据时代》作者:大数据的三大特点

文章讲的是<大数据时代>作者:大数据的三大特点,2013年7月11日-12日,主题为"见智,见未来"的IBM 2013技术峰会(IBM Tech Summit 2013)在北京举行.大会围绕移动应用.大数据.云计算.DevOps软件持续交付.应用整合.社交商务.专家集成系统等九大主题展开,吸引了来自全国各地数千名技术人和行业专家参与此次盛会. IBM技术峰会是目前IBM在国内举行的规模最大.涉猎领域最广泛.参加人数最多的高端技术盛会.在两天日程中,包括IBM院士.杰出工程师