大数据流量:数据中心发展的瓶颈

我们都知道,大数据通常与数据中心不断增长的结构和非结构化工作负载相关。而网络负责处理传输到服务器、存储阵列和云服务的数据流量。服务器之间的密集型I/O吞吐量常常发生在数据中心或者广域网之间。伴随着大数据的来临和应用的不断增长,新的问题将会出现。由于传统的IT设施在当初设计的时候,没有考虑到大数据的情形,瓶颈问题将变得更加普遍,尤其是在存储一端,问题更加明显。

这样一来,IT业务中就会出现一种新的分支:面向新一代数据中心的数据管理。下面,我们就给大家介绍大流量阻碍数据中心发展的几大缘由:

一、大流量是一种新型工作负载

大流量是指横跨广域网连接的数据中心内服务器间的通信流量,它不同于通常情况下的大数据工作负载——也就是用户对机器或者机器之间的通信流量。

二、传统IT不能胜任大流量要求

导致大流量出现的主要原因是IT过去几年所形成的优势:虚拟化的广泛部署和扩展系统;远程实时迁移;数据复制和备份;专门针对基于WAN分布式系统而编写的尖端应用,比如Hadoop, MapReduce, MongoDB和Cassandra。

三、大流量增长没有止境

大流量增长没有具体的指标可供参考,它的增长将永无止境。Forrester Research预测说,在未来几年,由机器运行产生的应用数据将达到50%的年增长。而且,存储巨头EMC官方发布过一份报告,认为在2009至2020年间,将实现44倍数据扩容,这意味着数据带来的流量增长将是一个巨大挑战。

四、大流量对IT人员影响巨大

不断增长的大流量将对大型组织机构的影响最为深远,而在其中,尤以生产一线的工人、CIO、CTO、存储管理员、灾备和服务器工作人员、网络管理员和数据中心管理员等受影响最大。

五、数据中心和管理面临考验

日益增长的大流量将会给企业的数据中心及其管理带来严峻考验,因为它们需要解决传统和当前二者不同情形的数据传输过程中的问题。而且,还需要确保系统中基本的数据存储和访问功能正常运行。这些,将直接影响到业务的连续性、灾备和关键业务运行。

 

 六、如何优化现有的系统

可能的解决办法包括扩充现有网络带宽、重复数据删除、压缩和精简配置软件。数据中心也考验使用传统的WAN优化软件,使用应用加速解决方案,或者针对这种新型的大流量特点开发新技术。

七、解决方案面临的现实问题

某些解决方案在某些情况下不可能得以执行。比如,如果数据中心彼此相隔遥远,有效的优化方案实际效果可能并不明显;或者,服务商不能为站点之间提供足够的带宽。

八、网络优化的相关问题

当企业对其网络的带宽和安全性进行优化,CIO和CTO需要事先知道对网络和数据中心带来何种影响。比如,在旧有系统中引人新软件,可能会出现不能与其他旧软件或者上一代版本软件实现兼容的问题,而这容易引发系统崩溃。

九、优化的常规指南

企业该对如何界定数据,以确保优化方案能在IT运营中无缝执行。考虑的因素应该包括:部署的难易程度、完全透明的网络渗透、与现有系统的兼容以及低功耗。

十、大数据未来情形

未来数据将不断增长,数据中心静态运算和存储资源将被传送到统一的资源池中,以省时省力的经济方式充分利用虚拟化和云服务,从而减轻内部数据中心的工作负载。

本文作者:范平

来源:51CTO

时间: 2024-07-29 11:22:51

大数据流量:数据中心发展的瓶颈的相关文章

魏凯:如何突破大数据发展的瓶颈

大数据已经上升成为国家战略,社会各界对大数据的期待上升到了前所未有的高度.如何务实推动大数据战略落地,成为接下来的政策重点.本文重温了大数据的内涵,分析了大数据的局限性,结合国内大数据发展面临的瓶颈,提出了相关的策略建议. 1引言 2015年,我国<促进大数据发展行动纲要>出台,十八届五中全会进一步提出要在"十三五"期间实施国家大数据战略,大数据一路上升成为国家战略,社会各界对大数据的期待上升到了前所未有的高度.如何推动大数据战略落地成为未来几年的政策重点.本文重温了大数据

大数据发展遇瓶颈 应用创新是王道

文章讲的是大数据发展遇瓶颈 应用创新是王道,2016年5月12日-14日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕.作为国内数据库与大数据领域最大规模的技术盛宴,在为期三天的会议中,大会将围绕MySQL.NoSQL.Oracle.缓存技术.云端数据库.智能数据平台.大数据安全.数据治理.大数据和开源.大数据创业.大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨,并邀请一大批国内顶尖的技术专家来进行分享,以满足广大从业人士和行业用户的迫切需要. 本届是大会创办

这十大技术会影响数据中心发展

有些技术是炒作,也有些能在很长一段时期影响数据中心.下面十大趋势肯定能影响2015年后的数据中心发展.   数据中心技术不断涌现,并以惊人的速度变化.想想看,虚拟化这样一个初出茅庐的想法在短短几年时间内就成了基础设施的必要功能,或者固态硬盘在高性能存储缓存以及虚拟SAN部署中的占比不断扩大. IT专家们需要关注新的发展,并且考虑这些产品对数据中心以及业务可能造成的影响或促进.在Gartner本周的IT Operations Strategies与Solutions Summit 2015峰会上,

第四范式戴文渊:大数据不再是AI发展瓶颈,未来企业赢在“维度” |2016 CAIIC

今天大家讨论比较多的人工智能,包括深度学习等这些技术为什么会对我们有帮助?究竟背后在什么地方能够去改变这个世界?在今天于深圳举办的中国人工智能产业大会上,人工智能公司第四范式创始人兼CEO戴文渊就其专业研究以及产业实践对这些问题做了阐述.雷锋网也与其进行了访谈. 第四范式是一家利用机器学习.迁移学习等人工智能技术进行大数据价值挖掘的公司,其CEO戴文渊被业内认为是迁移学习全球领军学者.据雷锋网(公众号:雷锋网)了解,戴文渊2005年曾获得ACM国际大学生程序设计竞赛世界总冠军.他2009-201

云计算推动超大规模数据中心发展与应用

本文讲的是云计算推动超大规模数据中心发展与应用,从计算演变的历史我们可以发现,大约每隔15 年左右,IT 产业就会进行一次变革性的转变.不同技术力量相互碰撞和倾轧,并最终产生出一种能改变整个产业生态的革命力量.每个计算时代都会有自己独领风骚的技术.当前,云计算对IT 产业的影响无疑是巨大和深远的,云计算由于自身的灵活性和易扩张性,正在促进IT快速的演变,使得现在的IT生态系统更具挑战性,企业如果不能适应这样的变化就会被淘汰. 上周我有幸主持了一个云计算会议(Cloud Connect confe

范春莹:云数据中心发展之道

2012年1月10日,第六届中国IDC产业年度大典在北京国家会议中心盛大开幕,本届大会以"构建云数据中心暨云应用创新论坛"为主题,邀电信运营商.IDC企业.设备厂商.互联网等业界同仁共同探讨云计算时代下的IDC产业机遇与责任,现在是中国万网副总裁范春莹发表演讲:从万网开始 云数据中心发展之道. 中国万网副总裁范春莹:各位朋友,各位IDC圈的同仁,大家下午好!我是范春莹,来自中国万网.非常高兴能够在IDC年度大典的机会上,跟大家分享万网在云计算解决方案的探索.我今天演讲的主题是云数据中心

大数据方兴未艾 数据中心迎来变革

互联网的发展带动了云计算.虚拟化.大数据等IT新技术的兴起,各行业的互联网化日渐明显,全新IT时代正在来临.其中,大数据的兴起和发展成为新IT时代,行业互联网化最为典型的特征之一. 有数据显示,在全球范围内,数据量以每年50%的速度增长,数据增长的速度已经远远超过IT设计发展的速度.数据本身已经成企业发展的资产,快速捕捉数据信息,实现数字化生产和管理,已经成为未来企业赢得市场,应对行业互联网化的必经之路.全球互联网巨头都已意识到了"大数据"时代,数据的重要意义.包括EMC.惠普(微博)

大数据大行其道 数据中心如何降能耗

大数据带来的信息风暴正在变革人类的生活.工作和思维,开启了一次重大的时代转型.而随着大数据在各领域的广泛应用,数据中心的需求匀速增加,而数据中心是否绿色,已经成为世界各大数据中心进行数据中心布局时考虑的首要因素. 据权威统计,数据中心的电力消耗已经占到全球能源电力消耗的8%,预计电力消耗将会翻倍增长.数据中心对电力的巨大需求已经成为制约大数据技术发展的瓶颈,这也意味着降低能耗是大数据技术可持续发展面临的最严峻挑战. 据了解,在我国,每年92万吨的标准煤资源消耗才足以满足中国联通一家运营商数据中心

大数据应用的未来发展在何方?

时至今日,我们的数据管理能力日益提升,但数据分析能力则相对落后.尽管工具与流程皆已齐备,但仍然缺少充足的数据科学家人员.在今天的文章中,我们将专注于能够交付实际分析结论的大数据应用,同时追踪其发展及当前状态,最终借此窥探大数据技术的未来发展方向 早期大数据技术采纳方指明令人感兴趣的跨行业发展可能性 根据2012年<福布斯>杂志发表的文章,早期大数据技术采纳方主要来自金融服务.电信.制造(特别是消费级产品)以及政府领域. 早期采纳方在起步阶段会使用其新近安装的大数据基础设施(例如HDFS.Map