数据中心里海量数据成灾

在当今数据呈爆炸式增长的数字经济时代,未来全球数据总量年增长率将维持在50%左右,到2020年,全球数据总量将达到40ZB。根据思科发布的第六次年度云产业调研报告:预测到2020年云数据中心流量将从2015年的每年3.9ZB增长至每年14.1ZB(1ZB等于10000亿GB),传统数据中心流量将从2015年的每年827EB增长至每年1.3ZB,这说明全球数据基本都来自于数据中心,每年数据中心的流量几乎每年都接近翻倍。如此高速增长的信息数据需要传输、存储和计算,将需要大量的资源。为了保证这些数据得到有效处理,就需要不断扩大数据中心的基础建设规模,以满足数据量高速增长的需求。一时间,数据中心建设在规模和速度上都不断创历史新高。这缘于人们对数据的认识已经发生了根本性变革,数据已经从过去的服务于业务运营,转变为现在的推动业务发展,通过大力发展数据,就能增强自己的业务水平。说白了一句话,就是“数据就是金钱”,谁掌握了数据,谁就掌握了财富。

现在全球进入了信息化时代,其显著特征就是信息资源的极大丰富和极易获得,相对于很多主体的信息需求而言,现在的信息供给是无限的,各种现代信息技术极大地增加了信息的数量。比如:应用程序、设备与数据类型等不断地增加,再加上物联网的应用,各种遥感遥测信息,使得数据量高速增长。还有就是高速的网络可以使得多媒体信息极为迅速地传递,超本文链接技术和检索技术也可以使人们轻而易举地得到自己想要的大量信息。信息技术使各种信息活动的全球化成为可能,而且在速度、数量、质量、互动、成本等方面具有很大优势,只要接入互联网,就可以轻而易举地在全球范围接收、发送与交流各种信息,这些都使得数据量在快速增长。虽然数据量的高速增长一定程度上说明社会的信息化程度越高,全球进入了成熟的信息化社会,每个人的工作和生活都与很多数据信息密切相关,可是数据越多也不见得都是好事。数据量太大也会带来很多问题,海量的数据已经给数据中心带来了沉重负担。数据中心建设和扩容的速度永远也无法满足数据量增长的速度,在数据中心里海量数据成灾,数据中心已经没有更多的存储设备来保存这些数据,没有更多的服务器可以处理这些数据,也没有网络带宽去传递这些数据,海量的数据让数据中心不堪重负。

对这些海量数据进行分析,其实不难发现,很多是重复和无价值的数据,这样还是有些办法可以去削减的。首先,减少重复数据的存在。数据中心里每个人都可以有自己独立的存储空间,就像个人邮箱,每个邮箱允许有几十G的空间,很多人往里存储的东西,尤其是视频文件可能是相同的,但数据中心依然要存储多份,这样极其浪费存储资源。对于同一个视频文件,完全可以每个人空间内只保存一个索引,只有一份视频文件即可。如此一个几个G的视频文件,保存一份即可,也许数百个人甚至数千个人都可以使用,其实只占用一份文件的存储空间;其次,减少无用数据的存在。一般而言,数据中心里90%都属于无用数据,因此需要过滤出能为数据中心提供经济利益的可用数据。大数据技术很火,但利用大数据技术能得出有意义的结果,也是要对有特有特征的数据进行统计才有可能得到预期结果。如果数据本身都没有多大意义,自然也不会有大数据技术的发挥空间。无用的数据包括长期无人访问的数据、过时的数据、错误的数据等等,只要对数据中心业务发展无益的数据都可以及时清理,删除;第三,减少中间过程数据。1+1=2我们只需要知道这个计算结果,而不需要知道这个中间计算过程,中间过程有大量的数据,这些数据对我们得到结果没有意义,所以只要计算完 1+1,得到了2就可以将中间数据删除了,如此可以大大减少中间过程的数据量。还有很多大量存储着的临时信息,几乎不存在投入必要,这些临时信息基本不会被使用;第四,减少与数据中心应用无关数据。在数据中心充斥着许多无用的信息与数据,有的数据看似非常重要,其实是一点作用都没有,对数据中心发展毫无意义。就像我们用的手机,使用一段时间就会残留大量的临时文件,无用的聊天信息,占据着手机大量存储空间,同时也降低了手机的运行速度,及时清理掉这些无关数据,可以节约存储空间,提升手机运行速度。对于数据中心也同样如此,周期性地对数据进行检查,无用的数据及时清空,将资源分配到有效的数据处理中去。最后就是从数据中心外部接入到内部的网络数据,这类数据价值极低,几乎不会给数据中心带来正面影响,这类数据也不要保存,及时清理。

海量的数据与信息已经成为数据中心的垃圾,大部分的数据都是无用的,这些数据不仅无用反而会阻碍数据中心的发展。越是信息发达的时代,我们就越是需要用挑剔的眼光去看待那些围绕自己的数据。对数据用减法甚至用除法的方式去挑挑拣拣,避免数据泛滥成灾。避免数据中心的各种宝贵资源被混乱的数据所侵占,被“恶意”数据误导,时常给数据中心减减负,清除各类无用的数据,对数据一定要求质不求量,坚决消除一切无用数据,将数据中心的资源用到更有用的地方。当看到全球信息数据在高速增长时,请一定注意,小心你的数据中心里数据泛滥成灾。

本文转自d1net(转载)

时间: 2024-07-31 20:34:23

数据中心里海量数据成灾的相关文章

[笔试题目] 简单总结笔试和面试中的海量数据问题

        最近在笔试和面试中遇到了很多关于海量数据的问题,在此进行简单的记录,写一篇方便自己下次学习的处理海量数据的文章及在线笔记,同时也希望对你有所帮助.当然,海量数据最出名的还是七月July,但这里我是想直接从实际题目出发,并参考及摘抄了他们那些大牛的文章及自己的想法进行简单总结记录. 一. 原题重现         2015年9月27日百度笔试论述题二选一,其中第一道是关于MapReduce相关的:第二道是搜索引擎中url去重,海量数据集url如何在爬取过程中避免重复爬取过的url.

从“大数据”中淘金很酷,但方法还很盲目

本文原载英国<金融时报>网站,原标题:Big data: are we making a big mistake,貌似我看到的时候已经有点晚了,但还是分享下吧.因为它确实讨论了我最近所思考的一些问题,是一篇思辨的文章.如果你以前没了解过大数据,这又可以看作一篇入门文章. 这篇文章只算一家之言,因为质疑总比证实更简单,但大数据现在炙手可热,这些反面的意见,如果作为谈资收藏起来,也是不错,说不定把妹子的时候会有妙用. by信海光微天下 大数据是对于大规模现象的一种模糊的表达.这一术语如今已经被企业

云计算趋势:数据中心向整合化发展

相对于传统的IT架构,云计算代表着未来网络服务模式的发展方向,她的独特优势在于高性价比.易于扩展.高可靠性.模块化.管理方便快捷等.业内分析,云计算技术发展将呈现六大趋势,即数据中心向整合化和绿色节能方向发展;虚拟化技术向软硬协同方向发展;SLA细化服务质量监控实时化等. 1.数据中心向整合化和绿色节能方向发展 目前传统数据中心的建设正面临异构网络.静态资源.管理复杂.能耗高等方面问题,云计算数据中心与传统数据中心有所不同,它既要解决如何在短时间内快速.高效完成企业级数据中心的扩容部署问题,同时

JBOSS数据网格:海量数据的重大机遇

文章讲的是JBOSS数据网格:海量数据的重大机遇,在过去的一年里,内存数据网格技术获得了相当多的关注.据权威机构Garter数据统计,未来一年,至少40%的大型IT厂商将考虑部署内存数据网格方案,以应对日益严峻的海量数据与应用性能的挑战.作为全球领先的开源解决方案供应商,红帽公司推出的内存数据网格产品--JBoss Enterprise Data Grid (简称: 红帽JBoss数据网格)为云计算和大数据做好了充分的准备. 红帽公司负责中间件业务的副总裁兼总经理Craig Muzilla指出,

炒作的背后 企业如何从数据中获得回报

本文讲的是炒作的背后 企业如何从数据中获得回报,围绕着大数据的炒作所触发的业内广泛的讨论已经超出了其商业价值.CEO们仍然对大数据所带来的益处持怀疑态度.社交媒体和移动设备的普及为海量数据做出了贡献,这导致个人消费者和企业用户在数据交互方式上的转变.我们正在经历信息的爆炸,不同类型的数据被存储在云中,并跨越多种不同的系统,即我们所说的"大数据". 当涉及到客户数据时,大数据由数据金沙组成.大众购买习惯.生活方式以及观念等信息对商业机构而言向来不容易获取.然而,通过在众多地方进行搜索,将

电子商务从大数据中挖宝必备五大要素

文章讲的是电子商务从大数据中挖宝必备五大要素,提到电子商务,自然会联想到大数据,如今"大数据"频繁地出现在媒体上,通过大数据,商家可以收集和分析数据,了解客户的购物模式和消费体验,从而改进产品设计,调整电子商务策略. 随着企业处理的数据量越来越大,数据处理工具的智能化程度越来越高,处理速度越来越快,价格也越来越实惠.大数据分析不仅仅是一种趋势,而是许多大型电子商务公司必不可少的一项工作内容. 1.驾驭大数据 数据集往往非常庞大,很难用传统的数据库管理工具进行处理,截至2012年, 数据

企业何时才能从大数据中真正盈利?

大数据中蕴含着大价值,相信每一位关注IT技术创新的人都会听过这句话.没错,从http://www.aliyun.com/zixun/aggregation/13584.html">海量数据中筛选出有用的信息,然后通过各种手段将信息转化为洞察力,从而做出正确决策,推动业务发展.在这样一个信息链条中,企业需要确保每一个环节都不出错,才能将数据转化为价值.然而又有多少企业真正能做到这一点呢?少之又少!大数据很火,但是何时才能让大数据真正为企业带来盈利?对此,数据分析和市场营销专家Brooks B

大数据中的因果关系及其哲学内涵

"大数据"(big data)概念最早出现于<科学>杂志刊载的<大数据的处理程序>(1998)一文,此后<自然>杂志于2008年9月出版"大数据"专刊,短短十数年,"大数据"浪潮以人们难以想象的速度和让人始料未及的方式袭来.大数据一方面对传统的因果关系理论提出了挑战,另一方面又给因果概念的进一步展开提供了更高层次的整体观照.作为一种信息存在方式,大数据中因果关系和相关关系问题的错综交织,成为当前需要面对和思考的

大数据中的智慧

2013年4月26日-27日,由51CTOhttp://www.aliyun.com/zixun/aggregation/20817.html">传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开.本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音.51CTO作为本次峰会的主办方,将全程视频.图文直播报道这场数据的盛宴,更多内容请点击专题:20