如何精心设计CDN架构?

文|邵海杨,UPYUN(又拍云)联合创始人兼运维总监国内,随着互联网的高速发展,因为各大通信公司的政策,造成了南电信北联通互通有局限性,再加上大小且质量参差不齐的运营商,在这特殊的氛围的互联互通下号称“八线合一”的机房开始崭露头角。互联网的广泛性使得网民分散在全国各地,由于全国地区的经济发展和互联网建设的不平衡,实际网民的体验往往受限于最后一公里的速度。在技术大喷井的年代,一些无聊或者有目的黑客攻击也开始涌现,无论是渗透还是DDoS攻击都非常频繁,时刻威胁着网站的安全……上述种种问题,作为应用服务提供商,我们要如何解决此类问题呢?归根结底就是要充分利用好CDN(Content Delivery Network,即内容分发网络)。CDN的作用可以帮助我们解决哪些问题?缓存代理缓存代理类似内容提供商源数据中心的一个透明镜像,这些内容可以在边缘服务器中缓存和分发,对于普通的网络用户来讲,它通过智能DNS的筛选,用户的请求被透明地指向离他最近的省内骨干节点,最大限度的缩短用户信息的传输距离。在任何时间、地点或者不同的运营商之间(尤其在中国),快速响应用户请求。它是通过在网络各处放置节点服务器,所以无需更改源站的网络拓扑,而是根据智能路由和用户就近原则匹配,从而确保了内容快又稳定的传输,大大提高了用户访问网站的响应速度。路由加速CDN服务初衷是确保快速可靠地分发静态内容,相对于动态内容来说,由于动态内容必须长连接来操持连接和通讯,只是用户到服务商之间的链路和质量都无法控制。因此为了提供快速的网络体验,有必要事先设置一些最佳路由。如省内骨干网,双线机房,以改善用户的网络体验。在中国典型的互联互通问题上,网络游戏加速就是一些最佳实践。安全防护利用好了CDN网络,无论面对是渗透还是DDoS攻击,攻击的目标大都会被指向到了CDN,进而保护了用户源站。因为CDN是分布式的,所以即使遭受DDoS攻击,也具备分散性,大大减少了源站收到毁灭打击的可能性。在架构的前期,还可以通过CDN做一些前置的安全保护工作,如拦截SQL注入、XSS跨站、网站挂马、篡改等黑客攻击。节省成本CDN节点机房只需要在当地运营商的单线机房,或者带宽相对便宜的城市,采购成本低。由于通过CDN减轻了源站压力,节点越多,源站面对任何时间高峰时的带宽峰值会被平均拉低。从而降低了后端服务器硬件规模和带宽的采购成本。 由于源站服务器规模的减少,后期运维成本也大大减少,可谓是一举多得。由此可见,为了能够满足全国乃至世界各地和多线路运营商的不同用户都有最好的体验,构建CDN的分布式服务其重要性不言而喻。但是,在面对如何根据自身场景去设计一个CDN架构,或者如何选择以一个适合自己CDN服务提供商,这里面也有许多问题需要考量。我们要设计稳定高效的CDN架构需要考虑哪些因素?存储介质 vs IO的关系这里先简单的介绍一下SSD介质的一些考量。SSD作为采用电子存储介质进行数据存储和读取的一种技术,突破了传统机械硬盘的性能瓶颈,固态硬盘的全集成电路化、无任何机械运动部件的革命性设计,拥有极高的读取性能。此环节,基本上不需要与传统的SATA,SAS作性能上的比较,SSD的胜出毫无悬念。而在整体方案中,只需要考虑承受的价格、容量大小(如120GB,160GB,300GB等规格)、是否能够满足设计需求这些问题。作者建议:如果允许, 能使用SSD,就一定要考虑采用,用空间换性能,提升非常明显。这里给几个SSD实战的小贴士:1.选择EXT4文件系统+TRIM模式(mount -o defaults,noatime,nodiratime,barrier=0,discard),Btrfs建议少冒险2.如果是使用三星的固态硬盘,可以尝试它贡献给开源的针对固态硬盘优化的F2FS文件系统,相当不错的选择3.I/O Schedulers调度算法,可以使用CFQ或者Deadline算法4.内核参数调整,SSD所在硬盘,echo 0 > /sys/block/sda/queue/rotational随机读写 vs 顺序读写机械硬盘的连续读写性很好,但随机读写性能很差。这是因为磁头移动至正确的磁道上需要时间,随机读写时,也就需要磁头和探针频繁的转动,而机械结构的磁头和探针的位置调整是十分费时的,这就严重影响到硬盘的寻址速度,进而影响到随机写入速度。在存储小文件(图片)、OLTP数据库应用时,随机读写性能(IOPS)是最重要指标。由于固态硬盘没有普通硬盘的机械结构,也不存在机械硬盘的寻道问题,因此系统能够在低于1ms的时间内对任意位置存储单元完成输入/输出操作。作者经验笔记:1.BIOS里务必开启AHCI模式(能支持SATA热插拔和NCQ寻址方式,提速→300%,当然内核也要支持AHCI模式)2.SSD的主控芯片相当于大脑中枢,非常重要,建议用Intel,Samsung,Marvell等知名品牌3.SSD更适合应用在随机读写场景,因此需要认真思考什么场合应用大文件 vs 小文件大多数的存储系统都是针对大文件而设计的,对小文件而言,大文件的存储系统无法适应小文件的存储需求,它造成元数据管理、数据布局和I/O管理、Cache管理、网络开销等方面性能和存储效率降低。而且,文件系统的inode是线性存储的,因此,我们遍历一个目录下的文件,需要读取的磁盘的位置是来回跳跃的。不连续的读取意味着磁盘要不断的进行寻道,那么性能自然可想而知。

时间: 2024-08-26 21:35:30

如何精心设计CDN架构?的相关文章

CDN架构以及原理分析

在不同地域的用户访问网站的响应速度存在差异,为了提高用户访问的响应速度.优化现有Internet中信息的流动,需要在用户和服务器间加入中间层CDN. 使用户能以最快的速度,从最接近用户的地方获得所需的信息,彻底解决网络拥塞,提高响应速度,是目前大型网站使用的流行的应用方案. 1. CDN 概述 CDN的全称是Content Delivery Network,即内容分发网络.其目的是通过在现有的Internet中增加一层新的CACHE(缓存)层,将网站的内容发布到最接近用户的网络"边缘"

阿里云 CDN HTTPS 最佳实践系列——动态证书(一)

背景 了解阿里云 CDN 架构的朋友应该知道,阿里云 CDN 7层的接入组件是 Tengine,我们知道 Tengine 原生是支持 SSL 的,只需要在配置文件中配置证书和私钥即可.在 CDN HTTPS 产品化以前,要开通 HTTPS 的域名需要把证书私钥给我们,我们在 Tengine 静态配置中配置,然后再同步到所有 CDN 边缘节点,显然这种方式在越来越多的域名开通 HTTPS 后,Tengine 静态配置文件会越来越大,难以管理,同时也会导致 Tengine reload 变得很慢,这

谈谈大型高并发高负载网站的系统架构

http://blog.csdn.net/fenglibing/archive/2010/04/10/5469788.aspx   转自:http://www.educity.cn/rk/sa/200906031701101214.htm     我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大

CDN HTTPS解决方案及优化实践

2017在线技术峰会,阿里云CDN技术专家容恪来为大家解析CDN HTTPS 红包背后的技术实践.本文主要从SSL/TLS 及 HTTP/2开始谈起,着重分析了HTTPS 架构和优化实践,最后对用户如何更好使用 HTTPS作了指导.   以下是精彩内容整理: SSL/TLS及HTTP/2介绍 HTTPS 对于HTTPS,其实是在HTTP 之下增加了 SSL/TLS的传输.在整个TCP/IP协议中的结构如图,传输层之上是会话层,会话层中传输的是SSL/TLS协议,HTTP 是在应用层.如果不用 S

中小型网站架构分析及优化

先看网站架构图: 以上网站架构广泛运用中大型网站中,本文从架构每一层分析所用主流技术和解决手段,有助于初入网站运维朋友们,进一步对网站架构认识,从而自己形成一套架构概念. 第一层:CDN 国内网络分布主要南电信北联通,造成跨地区访问延迟大问题,对于有一定访问量网站来说,增加CDN(内容分发网络)层可有效改善此现象,也是网站加 速的最好选择.CDN把网站页面缓存到全国分布的节点上,用户访问时从最近的机房获取数据,这样大大减少网络访问的路径.如果想自己搭建CDN,不建议这 么做,因为什么呢?其实说白

超详解析 | CDN HTTPS优化实践,全网一分钟生效

目前主流网站都依赖 HTTPS(HTTP over TLS/SSL)实现服务器认证.数据加密和完整性保护,比如2015年阿里巴巴旗下所有网站就完成全站HTTPS化:同时主流网站也普遍使用CDN技术用以提高网站的性能.可靠性和安全性.目前,HTTPS和CDN技术几乎都已成为商业网站必须的基础服务. 然而长期以来,HTTPS和CDN两种技术的设计和发展是独立的,HTTPS 设计之初是一种端到端(End-to-End)的协议,而CDN却是以中间人(Man in the Middle)的方式工作.原始网

三类型CDN厂商对比分析 技术创新型独领风骚

前言:随着视频直播的爆发.短视频的兴起.OTT电视的快速增长以及互联网视频的迅猛发展带来了CDN市场超过40%以上的增长速度,大家对于技术的需求也变得越加苛刻.与此同时CDN技术切入门槛的降低,给厂商们带来了大举入局的机会,一时之间CDN市场群魔乱舞,好不热闹! 随着CDN市场逐渐趋于成熟状态,已呈现三足鼎立之局面.第一阵营是BAT以阿里.腾讯为代表的互联网巨头派厂商,拥有庞大生态资源以及后发优势.第二阵营是以网宿.蓝汛等为代表的传统保守派厂商,拥有较大的市场份额以及技术积淀,从近两三年来看几乎

揭秘CDN用户驱动的产品变革

 前言:OTT-TV.IPTV在视频大屏化的趋势下火热起来,传统广电.运营商也在时代迅速互联网化的缝隙中找到了转变的节奏,但这似乎并没有减少他们互联网化下的焦虑. 在5.17-18的亚太OTT/IPTV行业盛会上广电系大佬们讨论的主题也都围绕着"精细化运营",可见在视频大屏高清的趋势下,成本的逐年递增是每一个视频企业都不得不面对的现实,无论对于广电新媒体.互联网视频还是直播都是一样的.对于视频企业而言,主要有两大成本构成,一是内容版权,近年各种IP的火热,网络剧的兴起以及国家对于文化版

淘宝CDN节点服务器选定“超云”服务器

4月15日,淘宝CDN节点服务器的选型中,北京天地超云科技有限公司的"超云"服务器依靠定制化.高密度.高性能.低能耗等鲜明优势成功入围,并与淘宝签署了第一批服务器采购合同,同时超云服务器也进入了淘宝CDN服务器后续大规模部署的采购名单.据悉,本次淘宝CDN节点服务器的选型中,超云 SC-R6280(2U8节点)定制化绿色云服务器通过了淘宝研发及运维部门的性能测试,其定制化.快速部署.密度.性能.节能等各方面指标都得到了相关人员高度认可. 作为亚太最大的网络零售商圈,淘宝网业务横跨C2C