存储和安全 大数据前行的"绊脚石"

本文讲的是存储和安全 大数据前行的"绊脚石",2012年最热的是什么?在IT界我们能够听到常常听到熟悉的词语:大数据、社交商务、云计算、移动化。显然,大数据成为企业最为关心的话题之一。众所周知,当前随着互联网以及3G的发展,企业的数据量正在呈几何倍数增长发展,我们看到企业中的数据也在随着数据量的不断增加,而面临着巨大的挑战。

  对于企业来讲,大数据时代,如何把数据转换成信息,从而形成价值,最他们关心的最终目标,但我们看到面对大数据的处理,无论是国内的服务商,还是企业用户应用还处于初级阶段,企业想要把大数据完美应用还需要很长一段路要走。

  针对于企业应用大数据的前行道路,IT168记者将会采访来自不同行业的CIO、信息总监、CTO、IT经理等IT负责人就当前大数据的趋势、挑战、应用等话题进行全面的解读,以给更多的个在应用处理大数据提供一个良好的借鉴。 针对于大数据的趋势以及挑战,近日,IT168记者采访长风联盟技术总监(CTO)刘致杰,玲听到了作为一名企业IT负责人对于大数据的理解。

  机遇与挑战并存

  大数据虽然已经受到企业的关注,但目前的应用并不是很理想,目前在企业应用过程中还存在巨大的挑战,对于此,刘致杰认为,大数据的挑战主要是体现在几个方面:

  第一、速度问题

  随着数据量和各种类型数据的不断增加,数据的存储和访问速度成为了一个瓶颈,解决速度,是大数据面临一个巨大的挑战。

  第二、安全问题

  安全问题分为两个方面:1、个人信息,是大数据的一个主要内容,那么个人信息从搜集获取到处理存储,都面临着个人的隐私问题。个人隐私的安全问题是大数据应用方面面临的一个挑战。2、数据量的急剧增加和数据类型的多样化,对数据备份恢复造成困难,对业务连续性构成威胁。

  第三、数据的应用

  大数据它本身是没有直接的用处,它的价值是在背后的信息,如何对大数据进行有效分析是当前面临的一个挑战,现在针对商业应用需要更深层次的分析,就是所谓的数据挖掘,通过对商业的模型和分析模型的研究,进行业务创新,这直接关系到大数据的应用效果。


▲长风联盟技术总监刘致杰(左)接受IT168记者的采访(点击进入视频)
 

  然而,我们看到大数据带来挑战的背后,同时也应该看到给企业带来巨大的机遇,刘致杰表示,机遇可以从两个方面来看:

  第一、中国人口有13亿多,而移动终端用户占到9亿多,网络用户接近5亿,这么庞大的用户群为我们大数据产业提供了非常肥沃的“土壤”,对大数据发展建立一个非常好的基础。

  第二、互联网应用、移动互联应用以及智慧城市的提出建设,对大数据提供了巨大的需求,也是为大数据产业提供了一个难得的发展机会。

  大数据的产业和技术,为企业提供了一些发展的机会。

  制造行业,通过制造行业分析,可以改善制造行业的产业链,改进产品的性能和质量,为用户提供一些更符合用户需求的产品。

  互联网行业,可以通过分析用户浏览习惯和消费行为,给他们创造更好的用户体验。

  医疗行业,可以给病人做全程的病理的分析,然后给提供病程的预测,也可以给他们提供更全面和更优质的服务。

  金融行业,可以从大量数据中筛选优质客户,设计有针对性的产品,从交易数据中发现欺诈和盗用行为。

  存储和安全 大数据应用的关键

  正如刘致杰所说,我们看到大数据的挑战——存储和安全,是企业迫切需要考虑的问题的。同时,也是大数据成功的关键。大数据对于不同的行业来讲,需要解决的问题是不一样,刘致杰认为,企业在应用大数据时,存储和安全比较关键。

  从海量数据来来,以前都是的数据量都是GB或者是TB,这种量级的数据,过去可能多年才能累计产生的数据,而现在有些单位每年产生的数据可能就是几十个TB,马上就到PB数量级,海量数据量增长的非常快,除了海量数据之外,还有各种非结构化如视频、多媒体的数据,这也占据了大量的存储空间。

  海量数据的存储,首先要解决如安全性和可靠性的问题,它的安全性不是那种保密的安全性,是数据存储的安全性,比如一旦出现故障要保证数据不能丢失,尽快恢复数据,这是它的存储安全性。

  过去数据管理,出于安全考虑,更多的采用实时备份和恢复,比如系统出现故障,要立即恢复实时数据,实时恢复就得先做到实时备份,现在大数据应用,实时备份恢复非常困难。系统的架构应付不了实时数据的备份和恢复,那么解决这么一个问题,需要突破一些关键的技术。

  刘致杰同时表示,大数据的存在也对系统架构提出了严重的挑战。现在不仅是系统架构,很多产品的架构都是有问题的,比如早期的应用是一些传统的数据库和关系型数据库,关系型数据库能够非常有效的进行数据管理,包括存储的管理、数据检索的管理,它可以通过关键字,通过索引去搜索。结构化数据库也就是传统的数据库,实际上已经不能适应大数据的应用要求了。

  此外,数据的调度和分析架构要适合分布式计算,要建立分布式的管理架构。

  另一方面,大数据的一个主要应用领域是关于个人的数据,对个人的网络访问记录,网络通信记录,通话记录、日常行动记录等各种渠道进行信息收集,形成了对个人全面的记录。有关人的信息非常敏感,这些信息的获取、存储、传输、分析等环节面临着信息泄露和数据安全的问题,成为大数据应用的重大风险。已经发生的多起个人数据安全泄露事件在社会上引起了极大的震动正说明了这个问题。

作者: 李伟 

来源: IT168

原文标题:存储和安全 大数据前行的"绊脚石"

时间: 2024-08-29 22:44:42

存储和安全 大数据前行的"绊脚石"的相关文章

存储:迈向大数据时代的最佳媒介

文章讲的是存储:迈向大数据时代的最佳媒介,虽然中国大数据市场还处在初级阶段,但增速非常迅猛,应用也极其广泛,不管是云计算.物联网.智慧城市还是移动互联都要与大数据扯上关系.都说未来是数据为王的时代,大数据应用将会越来越广泛的落地在各个领域,大数据绝对是企业未来实现业务突破的重点.那么,到底大数据和存储有什么样的关系呢? 三大点囊括大数据需求 大数据就是大量的数据,人们用它来描述和定义信息爆炸时代产生的海量数大数据时代来临.那么,大数据到底有多大?有资料显示,一天之中,互联网产生的全部内容可以刻满

云对象存储:让大数据挑战变小

云提供商已经意识到云对象存储服务是将"大数据"市场炒作变成现金的有力途径.大数据分析从非结构化数据中提取情报,对于大多数云提供商提供的传统的块存储技术来说过于笨拙. 很多企业客户疲于调整现有的内部IT基础架构和传统数据仓库,云提供商正好找到了基于通过云对象存储服务,提供商不仅提供了成本削减,也解决了客户和大数据管理的相关技术挑战. 云对象存储:让非结构化数据结构化 收集和存储大型数据集对于任何规模的企业都让人生畏,而且访问.组织和分析非结构化数据给企业制造了大量新的挑战.使用块存储技术

云存储有望解决大数据的诸多问题

大数据将给各行各业带来巨大的价值,例如医疗保健行业.大数据涉及IT和营销部门:它不仅是一个技术问题(把所有这些数据放在哪里?),同时,大数据将可能提供真实的.可操作的决策信息.虽然目前大数据趋势正在迅猛发展,但很多人并不是完全清楚如何管理数据.尽管存在这种不确定性,不过,大家越来越多地达成共识,大数据能够带来价值.企业已经开始投资于基础设施系统来实现大规模存储和数据分析. 在企业蔓延的大数据 对于传统基础设施而言,因为太大而无法被有效地和充分地捕捉.管理.存储和分析的数据集被称为大数据.现有的数

“小存储”玩转“大数据”

2011年3月,中组部.国家发改委等15个中央部门和北京市联合印发了<关于中关村(000931,股吧)国家自主创新示范区建设人才特区的若干意见>,中关村加快建设首个中国特色的人才特区. 中关村是我国科教智力和人才资源最为密集的区域,拥有以http://www.aliyun.com/zixun/aggregation/34205.html">北京大学.清华大学为代表的高等院校近41所,以中国科学院.中国工程院所属院所为代表的国家(市)科研院所206所:大学科技园26家,留学人员创

来势汹汹:浅谈存储领域的“大数据”效应

几十年前,当Oracle.SQL等数据库技术风靡全世界的时候,广大的IT人士可能不会想到在几十年后的今天,一堆堆毫无计划性.毫无关联的社交网络访问记录.图片,或者音视频会成为用户手心里的"宝贝",这些数据在当今可能会成为一个生意人致胜的法宝.而对于十几年前,甚至几年前开始建设数据中心的管理人员来说,也不会预料到后端的存储空间会被大量的非结构化数据填满?? 非结构化数据时代来临 是的,大数据时代来了,而且来势汹汹.大数据并不是一项技术,而是由于不断增长的数据量和数据种类而逐渐衍生出来的一

HPE推全球最大单一存储计算机 为大数据而生

据英国广播公司5月17日报道,从惠普拆分出的慧与公司(HPE)推出了一台名为"The Machine"的计算机原型机,其拥有160TB内存及基于Linux的操作系统.该设备的运作更多地依赖于内存而非运算能力. HPE公司表示,The Machine是为大数据处理而设计的,其可同时分析相当于1.6亿本书的信息量.该公司的内存驱动计算(Memory Driven Computing)研究项目最终会生成一个"几乎无访问限制的"内存池. HPE总裁梅格•惠特曼(Meg Wh

LSI在京举办亚太存储论坛 迎接大数据新机遇

LSI公司今天在北京举行了第12届亚太存储论坛.当前,各种规模的企业都在竞相应对数据增长过快与IT投资有限的突出挑战,本届论坛的主题即为"大数据,新机遇". LSI总裁兼CEO Abhi Talwalkar携总部精英团队出席了本届论坛,向主要客户.合作伙伴.技术人员.媒体等人士,提出全球IT产业重心从计算能力转向http://www.aliyun.com/zixun/aggregation/14345.html">数据处理的趋势观点;探讨了如何通过创新技术增强大规模服务

关于大数据时代传统商业存储的思考:中心存储与分布式存储的对比

今天和我们部门的老大1*1, 大家面对面沟通了一下到新的项目组的想法.而且也将我对传统商业存储在当前大数据云计算发展如火如荼的背景下,如何改进,融合交流了我的看法. 传统的商业存储,诞生于大型机,小型机时代.那时候将所有的硬盘集中的放到几个机架上,大型机通过光纤,ISCSI等高速连接到存储系统上.存储系统需要保证高并发,高IO读写速度,数据冗余备份等保护. 现在x86服务器,尤其是Google这种互联网公司都是通过廉价的硬件组装成高大上的集群,分布式文件系统(GFS,HDFS),各种基于内存的系

华为与英特尔构建全融合大数据存储解决方案

IDC预测,全球数据总量将在2020年达到40ZB.40ZB的数据量是什么概念呢? IDC给出了一个比喻:如果把一粒沙子当做一个字的话,40ZB的数据量相当于地球上所有海滩上沙子数量的57倍;40ZB的数据量相当于667千亿部高清影片,一个人每天24小时连续不断地看,看完这些电影需要5万6千亿年;目前我们对地球年龄的估值是45.5亿年,意味着,如果这个人从地球诞生的时候就开始看电影,现在他只看完了这些电影总数的万分之八(0.0008).而这些数据,每两年还将翻一番,呈指数级增长态势.大数据将以一