大数据处理:云应用应具备哪些特征?

基于云的应用程序处理大数据时,被处理的大数据不仅具有高容量、高速度、多类型的3V特性,还必须辅以第四个V:准确性。尤其在处理属于他人的数据的时候。

在波士顿大数据创新会议上的一个对话会上,IBM云数据服务事业部产品开发副总裁迈克·奥罗克(Mike O’Rourke)表示,所有四个特性,包括在论证中的数据所有权的问题,在推动业务敏捷性上都各自扮演着一个重要角色。大部分现代云应用处理的数据都来自外部资源,在使用前必须清理。

“开发团队必须敏捷,这样他们才能迅速反应,提供应用程序的快速更新。”他说。“这意味着,在处理大数据时,你必须有不同的思考方式。”虽然奥罗克(O’Rourke)并没有过于发挥到引用阿甘的“生活就像一盒巧克力”的格言,但他明确表示,当应用程序收集、处理和存储大数据时,你永远不知道会得到什么。因此,基于云的应用程序的设计必须足够灵活,以保证无论遇到何种数据,运行不间断。

奥罗克解释4个V的概念。他说,首先,高容量是最主要的。因为云和移动应用需要处理交互的数据量,不论是事务型数据还是流数据,正从TB级到PB级飞涨。

多类型是说,应用程序必须能处理结构化和非结构化的多种形式的数据。视频数据是非结构化的,但应用程序必须了解其内容。奥罗克解释,“如果你是一个广播公司,你不希望在有许多人丧生的严重车祸的影片后,广告出现说,买一辆雪佛兰车吧。这两者放在一起违和。”

高速度,或者说动态数据,正变得越来越重要,尤其是在数据容量突飞猛进的现实情况下。奥罗克说,“物联网通过传感器收集的和社会化的海量数据,正向我们涌来,你的应用程序必须能够提供实时决策。” 收集数据供以后分析或处理的概念已经过时了,他补充道。

准确性是指在处理的数据的可靠性各异的情况下(这被称为数据的不确定性),应用程序需表现出灵活性。奥罗克举例,电池没电或突然失去通讯联系时,健身设备和手机传来的数据可能突然中断。“你的应用程序能处理这样的突发情况吗?”

传统上,无论是零售交易、工厂车间的工艺控制,或是保险的保费和效益跟踪的案例,企业都是自己收集数据、自己处理。但云时代世界不一样了。奥罗克说,“当构建应用程序或做应用分析时,可能遇到的情况是,不论你在哪间公司,大部分需要处理的数据都不是公司自己拥有的。

他举了一个批大学工程专业学生夏天在IBM实习的例子。这些学生为纽约市搭建了一个应用程序,用来精确定位不安全道路的位置。学生们利用的数据包括机动车交通事故、天气、日出、日落、空气的湿度、道路是否湿滑、道路指示牌和道路标志的地理空间信息等。所有的数据都是公共数据,来自公共领域。

在几个星期内,这组学生创建了一个应用程序,标识了需要维修或重新设计具体道路的地点,司机可能会受益于更早展示警告标志的地方,和交通信号需要改变的十字路口。

“因为大部分需要处理的数据不是你自己拥有的,所以我可以提供给开发人员的最好建议是:在检视和分析数据之前,必须有必要对数据进行清理、标记和储存。” 奥罗克总结说。

本文转自d1net(转载)

时间: 2024-10-24 09:26:25

大数据处理:云应用应具备哪些特征?的相关文章

IBM智慧的云数据中心应具备的特征

IBM指出智慧的数据中心应具备实现云计算的能力,并拥有高度灵活性.高效运营能力.主动管控能力以及端对端的服务能力四大特点.同时,IBM将通过提供延长数据中心生命周期,数据中心合理化,灵活设计和统一综合管控四大IT服务帮助企业实现智慧数据中心落地中国.IBM始终是全球数据中心领域的领导者,此次智慧数据中心战略的推出为数据中心的发展指明了方向,并将成为数据中心领域的规划.建设.运营的重要指南. 目前,全球积累的数据数量之庞大是人们无法想象的.在短短三年内,IP流量总数预计将超过1.2zettabyt

确保安全:安全云服务应具备的五大特征

安全云服务就是http://www.aliyun.com/zixun/aggregation/13422.html">云计算技术在网络安全领域的应用和拓展从而实现网络安全即服务的一种技术和业务模式,它通过将提升网络安全能力(包括访问控制. DDoS防护.病毒和恶意代码的检测和处理.网络流量的安全检测和过滤.邮件等应用的安全过滤.网络扫描.Web等特定应用的安全检测.网络异常流量检测等)等的资源集群和池化,使用户在不需要自身对安全设施进行维护管理以及最小化服务成本与业务提供商交互的情况下,通

2008年全球CEO调查:未来企业应具备五大特征

6月2日消息,IBM上周发布<2008年全球CEO调查>报告结果,显示超过八成CEO预计未来将有巨大的变革,但仅六成的CEO认为有能力实际掌握变革. IBM指出,<2008年全球CEO调查>描绘出未来企业应具备的五大特征:渴望变革.创新超乎客户 想像.具有全球性整合(Globally Integrated)的能力及弹性,颠覆自我.拥抱创新,以及扮演真诚社会公民.IBM全球企业谘询服务事业群大中华区总经理黎俊伟指出,根据<2008年全球CEO调查>发现,CEO们将市场因素

高速公路视图大数据处理应用探讨

近年来,随着高速公路通车里程的迅猛增长和车流量的快速增加,高速公路运营管理中暴露的新情况.新问题也逐年增多,特别是逃漏通行费问题,给正常运营秩序带来较大的冲击.为了解决偷逃漏费.路径识别等业务需求,其中在高速公路收费卡口逐步进行了监控高清化与智能化改造.在视图智能化处理方面将面临以下几个问题: 如何建立一个安全.实时.有效.智能化的视图大数据系统处理系统,利用车辆视图"多特征识别"真正满足高速公路偷逃漏费稽查工作高时效.高正确率要求; 如何建设一个适合高速公路场景高性能计算平台,实现大

云计算必须具备七大特征

中国软件资讯 10月20日,由中国软件行业协会和苏州市人民政府共同主办.中国软件资讯网承办的"2011中国云计算产业发展高层峰会"在苏州隆重举行.峰会组织期间,云计算专家.鼎晟网络公司创始人丁陈博士首次在业界提出云计算的"有机软件"的概念,广受业界瞩目. 丁陈指出,"有机软件"的核心理念是"让计算机更聪明".如果计算机"聪明"了,人们就可以直接告诉计算机我们"要什么",而不是"

必备知识:大数据处理应遵循的原则

简约原则 这是牛顿创设的一条"极简主义"的节约规则.在牛顿看来,神奇的自然界在创设过程中选择的简单性和对繁琐的讨厌,使得人类也形成如下观念:"在用很少的东西就能够解决问题的情况下,决不劳力费神和兴师动众";要始终体现大自然所遵循的简约性.精准性.合理性与有效性.欲达此目的,就需要在云计算或大数据处理中,遵循简约原则,选择有用数据,淘汰无用数据;识别有代表性的本质数据,去除细枝末节或无意义的非本质数据.要能够确识数据之间的巨大差距或差异;要能够鉴别和挑出那些"

同有科技分享大数据时代新型大数据处理中心的特征

摘要: 日前,北京同有科技举办了主题为"数据改变未来,应用定义存储"的2013年渠道峰会.来自全国近百家重点核心合作伙伴参与了会议,与同有科技一起探讨了如何帮助中高端存储用户构 日前,北京同有科技举办了主题为"数据改变未来,应用定义存储"的2013年渠道峰会.来自全国近百家重点核心合作伙伴参与了会议,与同有科技一起探讨了如何帮助中高端存储用户构建数据中心,帮助他们迅速适应大数据时代的应用需求. 大数据时代,具备大数据特征的应用越来越多,对数据中心的需求有了革命性的变

加速大数据处理 BoCloud博云与TalkingData联合发布DataCruiser

5月19日,BoCloud博云与TalkingData在北京联合发布DataCruiser高弹性大数据云平台,通过BoCloud云架构与TalkingData大数据分析平台的有机融合,提供完整的应用容器和大数据计算相关的组件仓库和便捷的操作模式,使客户在面对"互联网+"时代爆炸性的数据处理业务时,享受大数据分析带来的精准信息和云计算技术带来的IT系统的高效运行,降低企业在部署数据分析平台的综合成本,使云化部署金融大数据平台的时间降低为原来的数十分之一:提高互联网及移动互联网环境下高并发

大数据处理驱使云存储的需求日益增多

企业的IT策略正迫于压力做出改变,云计算在修正方案中变得越来越重要.IDC分析家希望企业IT商店可以增加私有云方案的实施.这些云方案中的核心部分往往是存储. 预计2010年至2015年,私有云存储的花销将达到28.9%的年均增长率.照此速度,私有云存储在2015年前将翻三倍.这比当前年均增长为4%的内部存储要巨大.报告指出,虽然未来四年会看到云服务收入的巨大增长,但是要求公共云和私有云供应商花费的资金也同样巨大.未来四年,私有云与公共云供应商预期成为IT产品花钱最大方的两大巨头. IDC存储与I