一起谈.NET技术,实战ASP.NET大规模网站架构:Web加速器

  大规模网站瓶颈之一就是性能问题,如何让你的网站飞速运转起来,一直是架构师和开发人员苦于思考的问题。文章将针对基于ASP.NET开发的网站交互性非实时部分进行讨论。

  一、WEB加速通常有如下方案:

  1、基于ASP.NET技术的页面缓存

  基于ASP.NET技术的页面缓存,通常有如下两种应用方式:

  一、基于数据库触发(设置缓存依赖策略,当数据库中数据发生变化时,触发缓存失效;但微软提供的解决方案目前仅支持SQL Server,如果是ORACLE需要自己实现触发接口)。

  二、基于文件依赖的策略(可以设置缓存依赖于文件中的具体键值,当数据更新时,更新文件键值迫使缓存失效)。

  优点:实现比较简单

缺点:粒度太粗,对IIS、.NET Framework依赖太强,策略还不太完善,跨机器、集群访问方面存在瓶颈。

  2、页面静态化

  页面静态化有可分为全部静态化、局部静态化、伪静态化等。

  优点:页面静态化后,减轻了数据访问的负担,同时由于静态页面不需要复杂处理过程(如ASP.NET页面生命周期),从而提高网站的性能。

  缺点:页面静态化增加了维护管理的复杂度,可能同一页面在多个页面之间被引用,需要进行触发级连更新。当大量并发时,更新静态页面会发生LOCK,导致页面访问超时。

  3、基于squid for windows下的反向代理

  为了佐证本方案是经过实践考验的,并且是通用的行业方案,以下是一些大规模网站实际应用:

--网易

Server nginx
Date Wed, 10 Mar 2010 02:25:39 GMT
Content-Type text/html; charset=GBK
Last-Modified Wed, 10 Mar 2010 02:24:45 GMT
Vary Accept-Encoding
Expires Wed, 10 Mar 2010 02:27:39 GMT
Cache-Control max-age=120
Content-Encoding gzip
Age 49
X-Cache HIT from cache.163.com
Via 192.168.51.39.nginx, 1.0 cache.163.com (squid/3.0.STABLE23)
Connection close

--腾讯

Server nginx/0.6.39
Date Wed, 10 Mar 2010 02:26:48 GMT
Content-Type text/html; charset=GB2312
Vary Accept-Encoding, Accept-Encoding
Expires Wed, 10 Mar 2010 02:41:48 GMT
Cache-Control max-age=900
Content-Encoding gzip
Age 313
X-Cache HIT from rainny.qq.com
Via 1.0 rainny.qq.com:80 (squid/2.6.STABLE5)
Connection close

----搜狐

Date Wed, 10 Mar 2010 02:41:40 GMT
Server Apache/1.3.39 (Unix) mod_gzip/1.3.26.1a
Vary Accept-Encoding,X-Up-Calling-Line-id,X-Source-ID,X-Up-Bearer-Type
Cache-Control max-age=70
Expires Wed, 10 Mar 2010 02:42:50 GMT
Last-Modified Wed, 10 Mar 2010 02:41:39 GMT
Content-Type text/html
Age 9
X-Cache HIT from 17376722.22226606.29245568.sohu.com
Via 1.0 17376722.22226606.29245568.sohu.com:80 (squid)
Connection close

  4、其它

  二、SQUID简介

  SQUID 简单说来是基于UNIX下开发的为WEB应用加速的一个开源软件。SQUID已经普遍在基于nix系统下的WEB应用中使用,例如:新浪、网易都使用该软件,其中SQUID FOR WINDOWS是在WINDOWS下使用。SQUID通过哈希算法在磁盘上建立目录,将第一次请求的信息,存在指定的目录下,供其下次存取,此外SQUID也会将请求的页面信息缓存在内存中,当客户端访问某一页面时,如果内存中存在,则直接命中CACHE;如果内存中不存在,则到CACHE目录下获取,否则到后端的WEB SERVER获取。

  SQUID 特点:

  1、SQUID沿继了nix下配置的风格,可能用惯了WINDOWS的用户初次使用会有些不适。

  2、SQUID包括了一系列的配置策略,认证、访问控制、缓存设置、URL抓取、日志管理、磁盘管理、群集等。

  3、SQUID可以通过refresh_pattern策略设置请求的URL可缓存的内容,失效时间(详见文档)。

  4、缓存策略说明

  SQUID使用了LM算法,LM就是页面Header里时间(Date)和Last-Modified时间的差。Date一般是Squid从后面取页面的时间,Last-Modified 一般是页面生成时间。refresh_pattern 的语法是:refresh_pattern [-i] regexp min percent max [options],min, max的单位是分钟,percent就是百分比。refresh_pattern 的算法如下:(当前时间定义为CURRENT_DATE)

  1) If ((CURRENT_DATE-DATE(就是LM里定义的时间))< min),cache是新鲜的

  2) else if ((CURRENT_DATE-DATE)< (min +(max-min)*percent),cache是新鲜的

  3) else cache是过期的,cache过期就需要从后面server取新鲜内容。

  常用的几个参数的意思

  override-expire

  该选项导致squid在检查Expires头部之前,先检查min值。这样,一个非零的min时间让squid返回一个未确认的cache命中,即使该响应准备过期。

  override-lastmod

  改选项导致squid在检查LM-factor百分比之前先检查min值。

reload-into-ims

  该选项让squid在确认请求里,以no-cache指令传送一个请求。换句话说,squid在转发请求之前,对该请求增加一个If-Modified- Since头部。注意这点仅仅在目标有Last-Modified时间戳时才能工作。外面进来的请求保留no-cache指令,以便它到达原始服务器。

  一般情况可以使用 reload-into-ims。它其实是强行控制对象的超时时间,这违反了http协议的精神,但是在带宽较窄的场合,可以提高明显系统相应时间。关于SQUID FOR WINDOWS介绍已经很多,本文就不在赘述,详见SQUID权威手册这本书。在使用SQUID之前,首先要规划或确定你现有布署环境,如果你是Single Web Server 建议你在Web Server前增加一台机器做为SQUID服务器。

  三、SQUID FOR WINDOWS配置

  本文中SQUID放在172.20.65.201的机器上,应用WEB Server IP为172.20.65.203,其中SQUID在201上的80端口侦听,测试客户端机器为172.20.65.231,在squid.conf中#代表注释,所以开启某项设置,需去掉前面的#。TAG标签代表每一功能项的设置。

  1、下载

下载SQUID FOR WINDOWS(文章所用的版本是Squid 2.7.STABLE6,各个版本的配置可能略有不同,大家请注意)。

  2、安装

将SQUID解压到c:\squid(当然也可解压在其它盘符下)

  3、建立磁盘缓存和日志目录

默认情况是在安装磁盘下建立,为确保性能大幅度提升,建立选择磁盘空间容量较大的盘符,如:建立d:\squid\var目录,在var目录下建立logs和cache目录,其中logs目录用于存放日志,cache目录用于存放硬盘缓存数据。

  4、建立缓存目操作权限

为了使抓取的数据,能够存放在缓存目录下,建立系统账户如squidApp,将其属于普通用户组应可,将d:\squid授予该用户读写权限即可。

  5、文件更改

c:\squid\etc是SQUID的配置信息的存放处,为确保安全,在你修改配置文件前,请将其备份,然后将squid.conf.default修改为squid.conf,mime.conf.default修改为 mime.conf ,cachemgr.conf.default 修改为cachemgr.conf。

  6、配置SQUID

针对于SQUID来讲大部分配都在squid.conf中,本文中所使用环境如下:

开启如下访问控制

acl all src all
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl localnet src 172.16.65.231/255.255.0.0 指定本地网络及掩码

开启访问端口

acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 #wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

开启访问控制,请一定要注意顺序

http_access allow manager localhost
http_access deny manager
http_access deny!Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow all
http_access allow localnet
http_access deny all

指定SQUID在80端口侦听,vhost 指定使用加速模式。

http_port 80 vhost

203后台WEB SERVER, parent指父节点, 80 指后台网站的端口, 0 ICP 服务端口,no-query originserver 获取缓存时的选项。

cache_peer 172.20.65.203 parent 80 0 no-query originserver

缓存设置

maximum_object_size_in_memory 1024 KB
cache_dir ufs d:/squid/var/cache 1024 16 256 注意路径
maximum_object_size 4096 KB
cache_swap_low 90
cache_swap_high 95

日志设置

access_log d:/squid/var/logs/access.log squid 访问日志
cache_log d:/squid/var/logs/cache.log
cache_store_log d:/squid/var/logs/store.log
emulate_httpd_log on

控制页面缓存内容

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320
refresh_pattern -i \.css$ 20 50% 120 reload-into-ims
refresh_pattern -i \.xml$ 20 50% 120 reload-into-ims
refresh_pattern -i \.html$ 20 90% 120 reload-into-ims
refresh_pattern -i \.jpg$ 20 90% 120 reload-into-ims
refresh_pattern -i \.png$ 20 90% 120 reload-into-ims
refresh_pattern -i \.gif$ 20 90% 120 ignore-reload
refresh_pattern -i \.js$ 20 90% 120 reload-into-ims
refresh_pattern -i \.htm$ 20 90% 120 reload-into-ims

设置邮箱

cache_mgr webmaster_breeze

设置本地主机文件

hosts_file c:/windows/system32/drivers/etc/hosts

  7、安装服务

  将squid安装为服务,命令格式:squid -i [-f configfile] [-n servicename],如c:\squid\sbin\squid -i -n Squid_Proxy

  8、初始化缓存目录

c:\squid\sbin\squid -z

  9、启动Squid_Proxy服务

运行services.msc打开服务窗口,选择Squid_Proxy服务,如果启动过程出错90%是配置文件出现问题。

  10、squid命令

squid -k reconfigure //启用新的配置文件
squid -k rotate //截断日志
squid -k shutdown //stop squid
squid -dx//当服务不能启动时,进行调试

  四、SQUID测试

  找一台机器进行测试,并查看access.log日志,如果出现 TCP_DENY的信息,多为配置不正确。如出现如下信息TCP_MEM_HIT/200 表示,SQUID已经起作用,该请求是从 SQUID运行机器的内存中响应的。

  五、性能

  用LR跑了一下,1000个并发,内存命中率在100%。

时间: 2024-10-26 21:50:25

一起谈.NET技术,实战ASP.NET大规模网站架构:Web加速器的相关文章

实战ASP.NET大规模网站架构:Web加速器

大规模网站瓶颈之一就是性能问题,如何让你的网站飞速运转起来,一直是架构师和开发人员苦于思考的问题.文章将针对基于ASP.NET开发的网站交互性非实时部分进行讨论. 一.WEB加速通常有如下方案: 1.基于ASP.NET技术的页面缓存 基于ASP.NET技术的页面缓存,通常有如下两种应用方式: 一.基于数据库触发(设置缓存依赖策略,当数据库中数据发生变化时,触发缓存失效;但微软提供的解决方案目前仅支持SQL Server,如果是ORACLE需要自己实现触发接口). 二.基于文件依赖的策略(可以设置

一起谈.NET技术,ASP.NET MVC3 基础教程 – Web Pages 1.0

I:Web Pages 1.0中以"_"开头的特别文件(文件命名时不区分大小写) "_appstart.cshtml" & "_pagestart.cshtml" & "_viewstart.cshtml" _appstart.cshtml - 应用程序启动时在Global. Application_Start方法后执行. 功能:用于进行App的初始化时,需要进行处理的内容,例:向数据库记录系统初始化的一些信息

一起谈.NET技术,ASP.NET页面间数据传递的方法

00.引言 Web页面是无状态的, 服务器对每一次请求都认为来自不同用户,因此,变量的状态在连续对同一页面的多次请求之间或在页面跳转时不会被保留.在用ASP.NET 设计开发一个Web系统时, 遇到一个重要的问题是如何保证数据在页面间进行正确.安全和高效地传送,Asp.net 提供了状态管理等多种技术来解决保存和传递数据问题,以下来探讨.NET 下的解决此问题的各种方法和各自的适用场合. 1.ASP.NET页面间数据传递的各种方法和分析 1.1 使用Querystring 方法 QueryStr

一起谈.NET技术,Asp优化,asp缓存技术

一.何谓asp缓存/为什么要缓存 当你的web站点采用asp技术建立的初期,可能感觉到的是asp动态网页技术带来的便利性,以及随意修改性. 自如的http控制.但是,随着访问量的增加,你一定会发现自己的站点访问速度越来越慢,IIS重新启动得越来越频繁.接下来,你一定想优化asp,诸如更换性能更优异的数据库.建立索引.编写存储过程等等.这些措施有些不需要增加成本压力,有些则成本压力很大(譬如丛access到SQL),而且效果还不一定. 面对web访问压力,我认为最经济的办法是利用缓存优化技术来实现

一起谈.NET技术,ASP.NET 4.0 来了

伴随着VS2010的公开测试,ASP.NET4.0也进入了我们的视线.ASP.NET4.0究竟给我们带来了什么,将在哪些方面提高我们的生产力? 在何时你需要使用ASP.NET4.0开发你的网站程序? 需要更严格的遵守Web标准: 需要更流畅的Web Form开发方式: 需要更好的搜索引擎优化: 需要后知后觉的纠正一些不够优良的设计,这些设计甚至可能是在ASP.NET 1.0发布之前就存在的: 需要将现有的功能重新改造为支持server farm或跨application domains: 需要将

一起谈.NET技术,ASP.NET MVC 2示例Tailspin Travel UI层分析

Tailspin Travel 是一个旅游预订的应用程序示例,最新版本采用ASP.NET MVC 2技术构建,主要使用 DataAnnotations 验证, 客户端验证和ViewModels,还展示了许多Visual Studio 2010, .NET Framework 4, 和Windows Server AppFabric的技术,参看ASP.NET MVC 2示例Tailspin Travel. Tailspin Travel设计的技术比较多,今天我们来看看界面(UI)上的技术,在UI层

一起谈.NET技术,ASP.NET 请求处理流程

HTTP处理流程图 以上流程的一些概念解释: 1.http.sys 是一个位于Win2003和WinXP SP2中的操作系统核心组件,能够让任何应用程序通过它提供的接口,以http协议进行信息通讯. 温馨提示:如果用户不慎删除了该驱动文件,不用担心,该驱动会在下次系统启动时重建.是一个删不掉的系统核心组件!实用程序结束该驱动,该驱动也会马上重新创建(只有粉碎文件才不能马上重建,但粉碎后,下次启动会重建). 微软在Windows 2003 Server里引进了新的HTTP API和kernel m

一起谈.NET技术,ASP.NET身份验证机制membership入门——项目

前面说了很多关于membership的内容,感觉内容有点凌乱,内容都是一个个知识点,下面我们通过一个小的项目,来把所有的相关内容串一下. 首先描述一下需求: 我们要做一个最简单的网站.有三类用户:匿名用户,员工,管理员,网站结构如下:      admin目录下的页面只允许admin角色的用户访问,employee目录下的页面只允许emp角色的用户访问.Default.aspx允许所有用户访问.Login.aspx实现登陆功能,regUser.aspx实现注册用户功能. 1.首先我们新建一个网站

【区块链之技术实战】颠覆银行基础架构的区块链

上一篇文章分享了来自银行.金融以及互联网行业的"大佬"们从区块链实践中得到经验,既有对于区块链技术前景的乐观展望也有对于区块链技术的警示和冷静思考,还有从公益角度切入的技术实践.各位"大佬"的分享角度各不相同,各有千秋,接下来的几篇文章咱们就从区块链影响最深的几个行业一一说起,看一看今天的区块链技术到底对于这些行业造成了什么样的影响. 本篇文章是[区块链之技术实战]的第二篇文章,本篇文章咱们聊到的就是银行业,也就是区块链核心思想里面去中心化的代表的银行业,区块链给银