数据中心网络流量精细运维

从IDC运营商和云服务商的角度来说,做好网络运维是企业的根本。国内对互联网带宽需求的快速增长,催生出很多大型的IDC服务商,他们在全省、全国,甚至全世界布局数据中心。快速布局的同时如何对数据中心流量精细运维与管理,关系着IDC行业的整体收益和发展。

安畅网络CTO 张玮

在12月21日第十一届中国IDC产业年度大典的安全分论坛上,安畅网络的CTO 张玮就数据中心网络流量精细运维做了分享。

在全国范围内,安畅运营管理了13个数据中心,对外通过BGP进行互联,在全国几大城市建立了一个网络出口点。

基于自身的数据,张玮提供了几张分析图表,第一个表示视频厂商,其流量在中午和下午六点钟之后达到高峰,周一到周五流量低,周末流量上涨;第二张图表示一家大型餐饮厂商的流量,其流量在中午和晚上吃饭时间达到高峰;第三章图表示上海著名的代驾公司,它在晚上八点到达流量的高峰。

由此可见企业有不同的流量波动特征,这个特征是根据业务活动体现出来的。很多流量的规律可以去追溯,不同公司的流量规律合力就形成了数据中心出口的流量规律。

想要真正的把握规律,需要通过一些理论、推导去证明,得到有效的结果指导应用。安畅网络在很多运营场景下做出口的监控,比如阈值的监控。经过检测,安畅获得数据流量的上限和下限,但是阀值波动幅度非常大,不同数据中心不同的时间点的差别也非常大。

面对这种情况,安畅构建几个数据模型。第一就实际流量的小时图,统计学里叫观测值。第二,把观测值里的趋势提取出来。第三个是把观测样本图的波动提取。其实任何一个时间序列的数据都可以提取成这三个模式,这也是做预测的基础。

在做预测时候,安畅采用时间预测。时间序列模型包含两种,第一种是基于视察的,第二种是基于胡尔特法。经过反复的测试和论证,安畅的做法是通过二元法,利用不同的统计分析工具得出结论。

具体预测的模型结果如上图所示,将安畅预测的模型贴近原始序列,整个原始序列值通过这个模型得以完全描述出来。数据模型可以通过工具生成算法,而算法能够真正应用到整个数据的管理之中。

对于算法的具体应用,张玮做出了如下的阐释:算法将被应用于流量的精细化的化管理之中,安畅网络的信息精细化管理主要包括以下几个方面:

一。流量异常的检测,在预测的结果里面,有一个概念叫执行度。算法模型会提供一个流量的上限值和下限值。数据中心由此获得监控数值的上限和下限。基于模型每天滚动预测,把结果动态地更新到平台里去,一旦流量超过预设单位,运营者就会开排查。除了特殊的波动情况,预测的精准度很高。

二。流量复用价值。流量复用价值对运营商很有帮助。传统数据中心流量采购昂贵,采购量一般怎么核算呢?只有建立在一定的预测基础上,去做采购、整合,给运营商带来高经济效益。

在流量复用上,安畅还为客户做独立的监控。按照客户产生的流量,系统可以预知未来一到两个月的流量。如果客户按采购带宽非常吃紧,安畅会提出预警:一旦带宽在实际使用产生很多冗余,安畅会自动建议削减客户购买的带宽。

除了利用流量预测的结果做动态的监控,安畅也实现总出口的监控。如上图所示,安畅现在有十个数据中心。针对不同的线路,把流量数据通过三层提取,总结各个数据中心实际运行过程中的实际数据占比。

安畅还做了做平台化的系统交付,用户下单之后,交付部门根据订单里具体用户配置,把用户的订单分配好。现场工程师按照工单做算法的处理,一切都结束之后平台就开始自动装机,最后做好端口的限速。一切完成后,客户会自动地加入到监控名单里去。

客户的端口数据会自动加到监控平台,有时候客户会有临时的带宽采购,此时直接由交付在平台里做一个手工的设计即可,不需要任何现场工程师的操作。

安畅目前所作的整个大网的实时监控,把不同的线路进行交叉监控,每一个C端的IP段会有两个IP地址。不同的分段分成红色、橙色、绿色,不同的点代表线路监控。运行正常用绿色表示,超量不大用橙色表示,量大、断网是红色的,实现交叉监控,不需要外部监控的厂商合作。

作者:田园

来源:51CTO

时间: 2024-07-28 16:07:50

数据中心网络流量精细运维的相关文章

数据中心新的自动化运维技术

自从数据中心引入了云计算.虚拟化等大咖技术,立刻变了模样,这些技术大幅提升了数据中心的运行效率,给数据中心带来了诸多好处.不过,任何事情都有两面性,我们在享受新技术带来的益处时,也给数据中心运维的管理带来了不便,需要管理对象的数量.规模及复杂度均呈现指数级增长,传统人工干预.保姆式管理监控与故障处理的方式肯定无法满足要求了.比如对于公有云及大型私有云,服务器数量往往可以达到数万到数十万.百万规模,各类系统云服务及租户的业务应用负载数量,也达到了数以百万乃至千万级的程度,这样全靠人工维护不现实,必

数据中心网络流量增长的10个关键数字

如今,随着越来越多的人使用移动设备,为了给个人和企业提供资金更多的云服务,云流量的增长比数据中心流量增长速度更快. 根据最新更新的思科全球云指数表明,通过对全球网络流量的每年评估和趋势预测,虽然2014年到2019年数据中心网络流量将会增加两倍,但思科公司研究发现2014年到2019年全球云流量将会增加四倍. 据思科的报告,事实上,从现在开始的五年内,云流量将占数据中心的网络流量大部分. 以下是最新的云指数10个关键数字: •26个月:2019年的全球数据中心通信流量相当于地球上每人连续26个月

数据中心网络运维一指禅

数据中心网络如何高效运维?这个问题经常困扰着数据中心的运维技术人员,运维技术人员疲于处理各种网络故障.变更.检查等事物,没有时间学习新技术,网络运维技术人员的工作往往做得非常辛苦,经常加班加点处理,然而问题似乎越是解决反而越多,陷于一个恶性循环,运维的人员不停地加班,问题不断出现,不断被解决,似乎永远都有处理不完的事情.实际上,网络运维也是一门学问,已经演化成为一门技术学科.有些人整天忙于处理这样那样的问题,但是数据中心网络依然问题不断,而有的人似乎整天也没有很多事情,数据中心业务有条不紊地进行

H3C发布数据中心网络认证项目 笑傲云时代

近日,H3C正式推出了国内第一个面向数据中心网络的高端认证项目H3CSE-Data Center(H3C Certified Senior Engineer for Data Center Network,H3C认证数据中心网络高级工程师).作为H3C认证体系中高端认证项目之一,数据中心网络认证项目的推出,有助于进一步促进国内数据中心网络高级人才的培养,推动数据中心应用水平的提升,也充分体现出H3C在数据中心技术领域的深厚优势与积累. 随着"云时代"的来临,国内数据中心建设步伐日益加快

步入云时代 H3C推数据中心网络技术认证

云时代的网络建设不仅提供了前所未有的市场机遇,也向所有数据中心的运维建设人员提出了前所未有的挑战.H3C在北京.杭州.深圳三地隆重发布了国内首个重量级的数据中心网络技术认证--H3CSE-Data Center(H3C认证数据中心网络高级工程师) 金秋十月,"领跑新时代.笑傲云时代",H3C在北京.杭州.深圳三地隆重发布了国内首个重量级的数据中心网络技术认证--H3CSE-Data Center(H3C认证数据中心网络高级工程师).在发布会现场,该认证受到与会的互联网.金融等用户.渠道

数据中心网络维护三把斧

网络是数据中心里是最为重要的组成部分,也是技术最为复杂的部分,要对网络运行进行日常维护,故障处理需要掌握不少本领才行.数据中心网络分为存储网和数据网,存储网采用的是光纤通道协议,数据网采用的是以太网协议.与以太网协议相比,光纤通道协议要简单得多,只要完成二层互通即可.以太网协议相对要复杂,各种协议标准琳琅满目,让人丈二和尚摸不到头脑,一个人要将所有协议吃透.吃精通根本不可能.那么,面对数据中心里复杂的网路世界,怎么才能做好维护呢?本文总结出了网络维护的三把斧,用好这三把斧,就有能力成为数据中心网

云数据中心网络运维的苦与乐

前几年大家讲 SDN 比较多的是怎样利用控制器,像 OpenDayLight.ONOS 这些东西,其实在讲怎样做一个 Driver.怎样做控制.大概从去年开始,SDN 开始跨入应用的时代,现在大家更多地在讲实际要做的事情.应用场景是什么.由于大家对 SDN 有多种不同的理解,在本文中我想把话题聚焦一下,落到云数据中心的网络运维这个点上,分享一些运维中的实际例子.没有大的篇章,只说说我们遇到的那些苦与乐. 因为本文话题的场景是云数据中心,所以我们有必要先看一下云数据中心里面的网络是什么样子. 简单

数据中心网络里的Underlay和Overlay

近几年,随着云计算.大数据.移动互联网等新技术的普及,部署大量虚拟机成为一种必然趋势.不过,虚拟机需要在网络中无限制地迁移到目的物理位置,在传统数据中心网络中几乎无法满足,这样虚拟机在迁移范围上要受到网络架构限制,在规模上要受网络规格限制,网络隔离和分离能力也制约着虚拟机的大批量部署,解决这些虚拟机迁移问题理想的方案是在传统单层网络(Underlay)基础上叠加(Overlay)一层逻辑网络,将网络分成两个组成部分.在 Underlay网络中,所有的转发行为都由控制器决定,控制器通过OpenFl

华为数据中心网络,让”深圳大脑”飞起来

深圳市为了提升自主创新能力,满足大量的基础研究,在2011年11月建成深圳超算中心,计算机运算速度1271万亿次/秒.排名世界第二,系统总内存容量232TB,存储17.2PB.这个运算速度全球领先的"超级大脑"已成为深圳建设国家创新型城市的一个重要引擎.现在各个部门和企业越来越多选择从超算中心租用资源,因此目前的资源已经不能满足井喷的需求,迫切需要搭建新的高性能高可靠平台,提升整体平台接入计算能力. 万兆骨干架构亟待升级 深圳市超算中心现有网络采用万兆骨干架构,随着越来越多的资源接入,