简述负载均衡&CDN技术(转)

 

  曾经见到知乎上有人问“为什么像facebook这类的网站需要上千个工程师维护?”,下面的回答多种多样,但总结起来就是:一个高性能的web系统需要从无数个角度去考虑他,大到服务器的布局,小到软件中某个文件的实现,甚至于某个循环内的运算如果出现不严谨都可能导致全盘崩溃。

  上面提到web性能优化需要多个角度去考虑,我们无法考虑到所有的优化细节,但可以从我们已知的层面去优化,我们就先从网络层面说起。

 

①网络请求路径:

------------------------------------------------------------------------------------------------------------------------|

(客户端输入URL定位符)→(DNS服务器寻找映射)→(进入服务器,处理数据)→(返回数据至客户端)  

 

在这个用例中我们可以很清晰的看出网络请求到返回的过程,虽然非常抽象,但足够我们以他为基础来进行优化了。

------------------------------------------------------------------------------------------------------------------------|

 

1)负载均衡

 

  BOSS一次给了小明好多项任务,小明发现怎么安排时间也做不完,于是乎他盯上了在旁边偷偷看电影的小强,小强突然觉得背后有一股凉气,一回头小明一脸坏笑看着他,“这几个任务交给你,晚上请你吃饭,要不然...嘿嘿嘿”,小强虽然不情愿,但是在小明的请求(要挟)下,只能服从。第二天,小明顺利的完成了任务,给小强买了袋辣条。

  在计算机上负载均衡也类似如此,我们的大BOSS客户端将请求发送至服务器,然而一台服务器是无法承受很高的并发量的,我们就会将请求转发到其他服务器,当然真正的负载均衡架构并不是由一台server转发的另一台server,而在客户端与服务器端中间加入了一个负责分配请求的负载均衡硬件(软件)。

DNS

  名词:DNS是客户端发送请求中一个非常重要的中转,他的作用是将用户请求的URL映射为具体的IP地址,全世界有13台根服务器,但通常为我们进行域名解析的并不是根服务器,而是直接访问我们的 LDNS(Local DNS Server),通常由网络运营商维护。

  最早的负载均衡就是利用搭建本地DNS服务器实现的,实现方式简单易懂,为同一个主机名分配多个映射 ,可采用轮循,随机等方式分配请求。看上去没什么问题,但是在使用过程中会发现,如果其中一个地址down机,我们是无法及时发现的,如果有用户被分配到这个主机就会出现访问失败的状况,同时我们也无法判断每个server的负载,可能会出现,某个server几乎闲置,另外一个server负载压力极高的情况。

                                       (进入服务器1,处理数据)

(客户端输入URL定位符)→(DNS服务器寻找映射)→(DNS分配请求)                  (返回数据至客户端)  

                                        (进入服务器2,处理数据)

硬件设备

  名词:负载均衡器(Load Balancer),负载均衡器通常作为独立的硬件置于客户端与服务器之间。

  负载均衡设备拥有非常好的负载均衡性能,他拥有众多的负载均衡策略(权重,动态比率,最快模式,最小连接数等),可以保证以相对较优的方式分配请求,不过好的东西总是有代价的,那就是价格,一台负载均衡器的售价往往高达十几万甚至几十万,许多企业并不愿意为它买单。

反向代理

  名词:Nginx。高性能,轻量级,已经成了人们对Nginx的第一印象,Nginx可作为HTTP服务器,在处理高并发请求的时候拥有比现在主流的Apache服务器更高的性能,同时Nginx也是一个优秀的反向代理服务器。

  第一次听到“反向代理”,可能有些陌生,但如果了解与之对应的正向代理就很好理解了,正向代理通常由客户端主动链接,比如我们的科学上网方式就是使用正向代理,以达到间接访问网站的目的,而反向代理在服务器端,无需主动链接,当我们访问拥有反向代理的网站时,实际访问的是其反向代理服务器,而非真正的服务器,当请求到达反向代理服务器时,反向代理服务器再将请求转发至服务器。反向代理是实现负载均衡的主流手段之一,通常使用Nginx等服务器搭建,Nginx同样拥有众多的分配策略,以保证平均分配压力。

 

                                       (进入服务器1,处理数据)

(客户端输入URL定位符)→(DNS服务器寻找映射)→(反向代理服务器)                     (返回数据至客户端)  

                                                                 (进入服务器2,处理数据)

 

Nginx反向代理:                    BIGIP(硬件)负载均衡:

    

 

 

2)CDN

  视频总在缓冲,图片各种加载不出来,几年前是再正常不过的事了,在当时大家也没觉得是回事,但把这种情况放在现在,我想人们绝对直接就小红叉了吧,那么我们如何避免这样的情况呢?这就是我要说的,内容分发网络(Content Delivery Network),简称:CDN。

  CDN简单的来说就是存储一些静态文件的一台或多台服务器,通过复制,缓存等方式,将文件保存其中。

  1.哪些是静态文件?

    css,html,图片,媒体都属于静态文件,也就是说用户发送的请求不会影响静态文件的内容,而jsp,php等文件就不属于静态文件,因为他们的内容会因我们的请求而发生改变。

  2.CDN如何实现加速?

     通常情况下,我们所要的数据都是从主服务器中获取,但假如我们的主服务器在南方,而访问用户在北方,那么访问速度就会相对变慢,变慢的原因有很多,例如传输距离,运营商,带宽等等因素,而使用CDN技术的话,我们会将CDN节点分布在各地,当用户发送请求到达服务器时,服务器会根据用户的区域信息,为用户分配最近的CDN服务器。

 

  3.CDN数据从哪里来?

  复制,缓存,CDN服务器可以在用户请求后缓存文件,也可以主动抓取主服务器内容。

 

  分布在各地的CDNS:

  

  

  

 

 

 

 

http://www.cnblogs.com/mokafamily/p/4402366.html

时间: 2024-09-08 18:26:26

简述负载均衡&CDN技术(转)的相关文章

大型网站架构系列:负载均衡详解(4)

原文:大型网站架构系列:负载均衡详解(4) 本文是负载均衡详解的第四篇,主要介绍了LVS的三种请求转发模式和八种负载均衡算法,以及Haproxy的特点和负载均衡算法.具体参考文章,详见最后的链接.   三.LVS负载均衡 LVS是一个开源的软件,由毕业于国防科技大学的章文嵩博士于1998年5月创立,用来实现Linux平台下的简单负载均衡.LVS是Linux Virtual Server的缩写,意思是Linux虚拟服务器. 基于IP层的负载均衡调度技术,它在操作系统核心层上,将来自IP层的TCP/

海量图片系统集群分布式存储和负载均衡案例分享

对于Web服务器而言,用户对图片信息的访问是很消耗服务器资源的.当一个网页被浏览时,Web服务器与浏览器建立连接,每个连接表示一个并发.当页面包含多个图片时,Web服务器与浏览器会产生多个连接,同时发送文字和图片以提高浏览速度.因此,页面中图片越多Web服务器受到的压力也就越大. 一般小型网站是把所有页面和图片统一存放在一个主目录下,这样的网站对系统架构.性能要求都很简单.下面是原理图 一些稍有规模的网站都保存有大量图片资源.用户在访问这些站点网页时,网页中图片信息占到页面数据流量的大部分.由于

基于第四层交换技术的负载均衡

摘 要 本文介绍了第四层交换技术的概念,技术原理以及如何使用第四层交换技术实现远程教育系统中的应用服务器负载均衡. 1 引言 当今世界已经步入信息时代,随着社会的迅速发展以及人们对网络应用需求的不断提高,对网络速度及带宽的要求不断上升.正是在这样的发展形势下,许多高速交换的新技术不断涌现.第二层交换实现局域网内主机间的快速信息交流,第三层交换可以说是交换技术与路由技术的完美结合,而下文要详细介绍的第四层交换技术则可以为网络应用资源提供最优分配,实现应用服务的负载均衡. 2 第四层交换技术 2.1

服务器集群负载均衡(F5,LVS,DNS,CDN)区别以及选型

  ======================================= F5全称: F5-BIG-IP-GTM 全球流量管理器. 是一家叫F5 Networks的公司开发的四~七层交换机,软硬件捆绑. 据说最初用BSD系统,现在是LINUX;硬件是Intel的PC架构,再加周边的网络和专用加速设备. 当然要提提售价, 都是几十万RMB的身价. 这宝贝是用于对流量和内容进行管理分配的设备,也就是负载均衡. 从名字就能看出来:BIG-IP. 外部看来是一个IP,内部可却是几十台应用服务器

FreeBSD基于NAT的负载均衡技术

网络地址转换为Internet网关的一个重要功能,它能将内部地址和外部地址进行转换,以使具备内部地址的计算机能访问外部网络.同样外部网络访问网关拥有的某一外部地址时,地址转换网关能将其转发到该地址映射的内部地址的计算机上. 因此,可以通过重新修改地址转换程序,使得地址转换网关能将请求均匀转换为内部的多个服务器的内部地址,此后外部网络中的计算机就各自与自己转换得到的内部服务器进行通信了. 要实现这个负载均衡软件,仍然需要更改原有的地址转换程序.然而,由于FreeBSD下提供了地址转换工具 natd

海量运维常用技术:HAProxy网站负载均衡应用

近期朋友刘鑫的网站成功上线并运营了,PV达到了亿级/日的访问量,最前端用的HAProxy+Keepalived双机作的负载均衡器/反向代理,整个网站非常稳定:这让我更坚定了HAProxy+Keepalived作为Web最前端的负载均衡器网站架构设计方案,在这里我也有一点要跟大家申明下:很多朋友担心软件级别的负载均衡在高并发流量冲击下的稳定情况,事 实是我们通过成功上线的许多网站发现,HAProxy作为前端的负载均衡的稳定性是非常好的,宕机的可能性微乎其微,由于HAProxy我们多用于7层负载均衡

负载均衡技术扫盲

虚拟IP(VIP) 就是类似域名通过DNS屏蔽掉了ip这样,虚拟ip就是要达到相同的效果. 域名 VIP 域名A类解析,绑定ip地址 更改MAC地址 域名跳转,跳到下个域名 NAT技术 LVS(Linux Virtual Server): LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.这儿不得不提到该项目的创始人,章文嵩博士,这是国内为数不多的NB项目之一.目前,该源码已经进入Linux内核.LVS是目前使用最广泛的负载均衡系统.

linux 负载均衡技术之 LVS

一. LVS简介LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org.现在LVS已经是 Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了LVS的各个功能模块,无需给内核打任何补丁,可以直接使用LVS提供的各种功能. 使用LVS技术要达到的目标是:通过LVS

门户网站负载均衡技术的六大新挑战

得上大学时,我和好友老郭讨论最多的话题便是:"像新浪这样的网站是如何支撑如此巨大的访问量?"也曾通过各种手段,猜测新浪服务器的数量.操作系统和应用软件的版本--一切都是那么神秘.毕业那年,有幸加入新浪,终于一点点地揭开了这层神秘的面纱.2004年某厂商设备介绍会上,我初次接触到了负载均衡技术.之后的几年时间,可以说是负载均衡设备在网站推广的黄金爆发期. 发展到今天,一方面硬件设备依然保持了强劲的实力,另一方面以LVS.Haproxy为代表的软件负载均衡也异军突起,被人们所认可.在新浪,