《高性能Linux服务器构建实战》——2.3节配置Varnish

2.3　配置Varnish

2.3.1　VCL使用说明
VCL，即为Varnish Configuation Language，用来定义Varnish的存取策略。VCL语法比较简单，跟C和Perl比较相似，可以使用指定运算符“=”、比较运算符“==”、逻辑运算符“!,&&,!!”等形式；还支持正则表达式和用“~”进行ACL匹配运算；还可以使用“set”这样的关键字来指定变量。
需要注意的是，“\”字符在VCL里没有特别的含义，这点与其他语言略有不同。另外，VCL只是配置语言，并不是真正的编程语言，没有循环，也没有自定义变量。
在讲述Varnish配置之前，首先需要了解Varnish的配置语法，即VCL。下面对VCL常用的一些内置函数和公用变量进行详细介绍。
1. VCL内置函数
（1）vcl_recv函数
用于接收和处理请求。当请求到达并被成功接收后被调用，通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束。
pass：表示进入pass模式，把请求控制权交给vcl_pass函数。
pipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。
error code [reason]：表示返回“code”给客户端，并放弃处理该请求。“code”是错误标识，例如200和405等。“reason”是错误提示信息。
（2）vcl_pipe函数
此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个连接被关闭。
此函数一般以如下几个关键字结束。
error code [reason]。
pipe。

（3）vcl_pass函数
此函数在进入pass模式时被调用，用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束。
error code [reason]。
pass。
（4）lookup
表示在缓存中查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或函数vcl_miss。
（5）vcl_hit函数
在执行lookup指令后，在缓存中找到请求的内容后将自动调用该函数。
此函数一般以如下几个关键字结束。
deliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver。

error code [reason] 。
 pass。

（6）vcl_miss函数
在执行lookup指令后，在缓存中没有找到请求的内容时自动调用该方法。此函数可用于判断是否需要从后端服务器获取内容。
此函数一般以如下几个关键字结束。
fetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数。

error code [reason] 。
 pass。

（7）vcl_fetch函数
在后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是将内容放入缓存，还是直接返回给客户端。
此函数一般以如下几个关键字结束。

error code [reason]。
 pass。
 deliver。

（8）vcl_deliver函数
将在缓存中找到请求的内容发送给客户端前调用此方法。
此函数一般以如下几个关键字结束。

error code [reason]。
 deliver。

（9）vcl_timeout 函数
在缓存内容到期前调用此函数。
此函数一般以如下几个关键字结束。
discard：表示从缓存中清除该内容。
fetch。
（10）vcl_discard函数
在缓存内容到期后或缓存空间不够时，自动调用该函数。
此函数一般以如下几个关键字结束。
keep：表示将内容继续保留在缓存中。
discard。
2.VCL处理流程图
通过上面对VCL函数的介绍，读者能够对各个函数实现的功能有个简单的了解。其实每个函数之间都是相互关联的，图2-1所示为Varnish处理HTTP请求的运行流程图。

Varnish处理HTTP请求的过程大致分为如下几个步骤。
（1）Receive状态。也就是请求处理的入口状态，根据VCL规则判断该请求应该Pass或Pipe，还是进入Lookup（本地查询）。
（2）Lookup状态。进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入Miss状态。
（3）Pass状态。在此状态下，会进入后端请求，即进入Fetch状态。
（4）Fetch状态。在Fetch状态下，对请求进行后端获取，发送请求，获得数据，并进行本地存储。
（5）Deliver状态。 将获取到的数据发送给客户端，然后完成本次请求。
3.内置公用变量
VCL内置的公用变量可以用在不同的VCL函数中。下面根据这些公用变量使用的不同阶段依次进行介绍。
当请求到达后，可以使用的公用变量如表2-2所示。
表2-2　请求到达后可以使用的VCL内置的公用变量

对客户端应答时，可以使用的公用变量如表2-5所示。

在上面的讲述中，只介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录Varnish官方网站查阅。

2.3.2　配置一个简单的Varnish实例
由于版本不同，Varnish配置文件的写法也存在一定差异，Varnish的2.x版本不但在配置文件写法上和1.x版本不同，而且还增加了很多新功能，并且去除了很多应用bug。这里讲述的版本是Varnish 2.1.2，配置文件写法以Varnish 2.x版本为基准。
Varnish安装完成后，默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl，此文件内容默认全部被注释掉。这里以这个文件为模板，创建一个新的文件vcl.conf，并且将其放到/usr/local/varnish/etc目录下。配置完成的vcl.conf文件如下：

#通过backend定义一个名称为webserver的后端主机，“.host”指定后端主机的IP地址或者域
        #名，“.port”指定后端主机的服务器端口。其中，“192.168.12.26”就是后端的一个Web服务器
backend webserver {
     .host = "192.168.12.26";
     .port = "80";
 }

#开始调用vcl_recv
sub vcl_recv {
        if (req.http.x-forwarded-for) {
                   set req.http.X-Forwarded-For =
                    req.http.X-Forwarded-For ", " client.ip;
        } else {
                set req.http.X-Forwarded-For = client.ip;
        }
        #如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS或DELETE时，则进入
        # pipe模式。注意这里是“&&”关系
        if (req.request != "GET" &&
           req.request != "HEAD" &&
           req.request != "PUT" &&
           req.request != "POST" &&
           req.request != "TRACE" &&
           req.request != "OPTIONS" &&
           req.request != "DELETE") {
           return (pipe);
        }
　         #如果请求的类型不是GET或HEAD，则进入pass模式
      if (req.request != "GET" && req.request != "HEAD") {
           return (pass);
        }

            #对ixdba.net或者ixdba.cn两个域名进行缓存加速。这是个泛域名的概念，也就
            #是将所有以ixdba.net或者ixdba.cn结尾的域名都进行缓存
        if (req.http.host ~ "^(.).ixdba.net" || req.http.host ~ "^(.).ixdba.cn") {
           set req.backend = webserver;
        }

　　      #对以.jsp和.do结尾以及带有?的URL，直接从后端服务器读取内容
    if (req.url ~ "\.(jsp|do)($|\?)") {
           return (pass);
        } else {
        return (lookup);
        }
}

sub vcl_pipe {
     return (pipe);
}

sub vcl_pass {
     return (pass);
}

sub vcl_hash {
     set req.hash += req.url;
     if (req.http.host) {
         set req.hash += req.http.host;
     } else {
         set req.hash += server.ip;
     }
     return (hash);
}

sub vcl_hit {
    if (!obj.cacheable) {
        return (pass);
    }
    return (deliver);
}

sub vcl_miss {
     return (fetch);
}

sub vcl_fetch {
      if (!beresp.cacheable) {
         return (pass);
     }
     if (beresp.http.Set-Cookie) {
         return (pass);
     }

        #当url中包含servlet时，不进行缓存
    if (req.url ~ "^/servlet/") {
        return (pass);
    }

        #当url中包含services时，不进行缓存
    if (req.url ~ "^/services/") {
        return (pass);
    }

        #如果请求类型是GET，并且请求的URL中包含upload，那么就进行缓存，缓存的时间是
        #300秒，即5分钟
    if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
        set beresp.ttl = 300s;
    }
        #当请求类型是GET，并且请求的URL以png、xsl、xml、gif、css、js等结尾时，进行缓存，
        #缓存时间为600秒
    if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
       set beresp.ttl = 600s;
    }
    return (deliver);
}
        #下面添加一个Header标识，以判断缓存是否命中
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}

2.3.3　Varnish对应多台Web服务器的配置实例
VCL语法非常灵活，功能强大。下面是一个Varnish对应多台Web主机的应用实例，具有负载分担和健康检测机制。配置完成的vcl.conf文件如下：
下面定义了4台后端Web服务器

backend webserver1 {
  .host = "192.168.12.12";
  .port = "80";
}
backend webserver2 {
  .host = "192.168.12.13";
  .port = "80";
}
backend webserver3 {
  .host = "192.168.12.14";
  .port = "80";
}
backend webserver4 {
  .host = "192.168.12.15";
  .port = "80";
}                            

#定义一个名为webserver的director，也就是由webserver1和webserver2两台后端服务器随机分担
#请求。“.weight”用来指定两台后端服务器的权值。权值高的处理请求的几率就高些
director webserver random {
  {.backend = webserver1; .weight = 5;  }
  {.backend = webserver2; .weight = 8;  }
}
#这里设定清理缓存的规则，Varnish允许localhost、127.0.0.1和192.168.12.***三个来源IP通过
# PURGE方法清除缓存
acl purge {
  "localhost";
  "127.0.0.1";
  "192.168.12.0"/26;
}
sub vcl_recv {

#这里设定，当发送PURGE请求的客户端不是在acl中设定的地址时，将返回405状态代码，提示
#“Not allowed”。当请求的URL是以.php和.cgi结尾时，则交给后端服务器去处理
  if (req.request == "PURGE") {
      if (!client.ip ~ purge) {
      error 405 "Not allowed.";
    }
      elseif(req.url ~ "\.(php|cgi)($|\?)") {
      return (pass);
    }
      else {
      return (lookup);
    }
  }

#下面设定域名访问策略，其实也是设定对后端主机健康状态检测的一个机制。如果访问www.ixdba.net
#或者bbs.ixdba.net，并且请求重启次数为0，则将请求交给webserver来处理。如果请求重启次数
#为1，则将请求交给webserver3处理。如果访问img.ixdba.net或者images.ixdba.net，则将
#请求交给webserver4来处理
  if((req.http.host ~"^(www.|bbs.)?ixdba.net")&&(req.restarts == 0))  {
      set req.backend = webserver;
  } elseif(req.restarts == 1) {
      set req.backend = webserver3;
  }
  if(req.http.host ~"^(img.|images.)?ixdba.net") {
      set req.backend = webserver4;
  }
#下面定义缓存的策略。当请求以.cgi和.php结尾及带有?的URL时，不进行缓存，直接从后端服务器
#读取内容。其他请求都进入lookup模式，也就是进入cache中通过hash表寻找被请求的数据
  if (req.request != "GET" && req.request != "HEAD")
  {
    return (pipe);
  }
  elseif (req.url ~ "\.(cgi|php)($|\?)")
  {
   return (pass);
  }
  elseif (req.http.Authenticate || req.http.Authorization) {
    return (pass);
  }
  return (lookup);
}                                                                      

#如果请求的类型是PURGE方法，Varnishd会将此请求的缓存周期设置为0，也就是使这个URL的缓存失效，
#从而达到刷新Varnish缓存的目的
sub vcl_hit
{
  if (req.request == "PURGE") {
    set obj.ttl = 0s;
    error 200 "Purged.";
  }                            

  if (!obj.cacheable)
  {
    return (pass);
  }                  

  if (obj.http.Vary)
  {
    unset obj.http.Vary;
  }
}                       

sub vcl_miss
{
  if (req.request == "PURGE") {
    error 404 "Not in cache.";
  }

}
#定义hash的值，并且处理压缩内容
sub vcl_hash {
  set req.hash += req.url;
  if (req.http.host) {
    set req.hash += req.http.host;
  } else {
    set req.hash += server.ip;
  }
  if ( req.http.Accept-Encoding ){
    if (req.url ~ "\.(jpg|jpeg|png|gif|rar|zip|gz|tgz|bz2|tbz|mp3|ogg|swf|exe|flv|avi|rmvb|rm|mpg|mpeg|pdf)$") {
    } else {
        set req.hash += req.http.Accept-Encoding;
    }
  }
  return (hash);
}

sub vcl_fetch
{
     if (!beresp.cacheable) {
           return (pass);
     }

     if (beresp.http.Set-Cookie) {
            return (pass);
     }

#定义在什么状态下进入restart模式
     if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504 || beresp.status == 404)
     {
         return (restart);
        }

#下面定义不缓存含有哪些HTTP头的请求
      if (beresp.http.Pragma ~ "no-cache" || beresp.http.Cache-Control ~ "no-cache" || beresp.http.Cache-Control ~ "private") {
          return (pass);
  }

#定义不同内容的缓存时间
      if (req.request == "GET" && req.url ~ "\.(css|js|html|htm)$") {
               set beresp.ttl = 300s;
    }
   if (req.request == "GET" && req.url ~ "\.(gif|jpg|jpeg|bmp|png|tiff|tif|ico|img|bmp|wmf)$") {
        set beresp.ttl = 3600s;
        }
   if (req.request == "GET" && req.url ~ "\.(svg|swf|ico|mp3|mp4|m4a|wav|rmvb|avi|wmv)$") {
        set beresp.ttl = 10d;
        }
return (deliver);

}
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}
时间： 2024-10-26 06:47:34

《高性能Linux服务器构建实战》——2.3节配置Varnish的相关文章

《高性能Linux服务器构建实战》——2.1节初识Varnish

2.1 初识Varnish 2.1.1 Varnish概述 Varnish是一款高性能且开源的反向代理服务器和HTTP 加速器,它的开发者Poul-Henning Kamp是FreeBSD核心的开发人员之一.Varnish采用全新的软件体系机构,和现在的硬件体系配合紧密.在1975年时,储存媒介只有两种:内存与硬盘.而现在计算机系统的内存除了主存外,还包括CPU内的L1.L2,有的还包括L3快取,硬盘上也有自己的快取装置,因此Squid Cache自行处理数据替换的架构不可能得知这些情况而做到最

《高性能Linux服务器构建实战》——2.4节运行Varnish

2.4 运行Varnish 2.4.1 varnishd指令 Varnish启动的命令是/usr/local/varnish/sbin/varnishd.此命令参数较多,用法比较复杂,在命令行执行"/usr/local/varnish/sbin/varnishd –h"即可得到varnishd的详细用法.表2-6列出了varnishd常用参数的使用方法和含义. 2.4.2 配置Varnish运行脚本 在安装Varnish时,已经将Varnish的管理脚本复制到相应的目录下,这里稍作修改

《高性能Linux服务器构建实战：系统安全、故障排查、自动化运维与集群架构》——第1章 Linux服务器安全运维 1.1　账户和登录安全

第1章 Linux服务器安全运维 1.1 账户和登录安全 安全是IT行业一个老生常谈的话题了,最近的"棱镜门"事件折射出了很多安全问题,处理好信息安全问题已变得刻不容缓.因此作为一名运维人员,必须了解一些安全运维准则,同时,要保护自己所负责的业务,首先要站在攻击者的角度思考问题,才能修补任何潜在的威胁和漏洞. 账户安全是系统安全的第一道屏障,也是系统安全的核心,保障登录账户的安全,在一定程度上可以提高服务器的安全级别,本节重点介绍Linux系统登录账户的安全设置方法.1.1.1 删除特

《高性能Linux服务器构建实战》——1.9节本章小结

1.9 本章小结本章主要介绍了对高性能HTTP服务器Nginx的安装.配置.管理和使用,以及Nginx在性能优化方面的一些经验和技巧,并通过实例分别演示了Nginx与PHP整合,Nginx和Java.Perl整合的过程.通过本章的学习,读者能够对Nginx有一个清晰的认识,并且可以熟练地配置和管理Nginx服务器.随着Nginx知识的普及,相信Nginx会越来越受欢迎.如果你还没有使用Nginx来搭建Web应用系统,不妨现在尝试一下.

《高性能Linux服务器构建实战》——3.1节Memcached基础

3.1 Memcached基础 3.1.1 什么是Memcached Memcached是一个免费开源的.高性能的.具有分布式内存对象的缓存系统,它通过减轻数据库负载加速动态Web应用.最初版本由LiveJournal的Brad Fitzpatrick在2003年开发完成.目前全世界很多用户都在使用它来构建自己的大负载网站或提高自己的高访问网站的响应速度.Memcache是这个项目的名称,而Memcached是服务器端的主程序文件名. 缓存一般用来保存一些经常存取的对象或数据(例如,浏览器会把经

《高性能Linux服务器构建实战》——1.7节实战Nginx与PHP（FastCGI）的安装、配置与优化

1.7 实战Nginx与PHP(FastCGI)的安装.配置与优化 1.7.1 什么是 FastCGI FastCGI是一个可伸缩地.高速地在HTTP server和动态脚本语言间通信的接口.多数流行的HTTP server都支持FastCGI,包括Apache.Nginx和lighttpd等.同时,FastCGI也被许多脚本语言支持,其中就有PHP. FastCGI是从CGI发展改进而来的.传统CGI接口方式的主要缺点是性能很差,因为每次HTTP服务器遇到动态程序时都需要重新启动脚本解析器来执

《高性能Linux服务器构建实战》——2.5节管理Varnish

2.5 管理Varnish 2.5.1 查看Varnish进程 通过上一节的设置,Varnish已经可以启动起来了.执行如下命令可以查看Varnish是否正常启动. [root@varnish-server ~]# ps -ef|grep varnish root 29615 1 0 00:20 pts/1 00:00:00 /usr/local/varnish/bin/varnishncsa -n /data/varnish/cache -f root 29616 1 0 00:20 pts/

《高性能Linux服务器构建实战》——1.4节Nginx的安装与配置

1.4 Nginx的安装与配置 1.4.1 下载与安装Nginx Nginx的官方网站是http://sysoev.ru/nginx/,英文主页为http://nginx.net,从这里可以获得Nginx的最新版本信息.Nginx有三个版本:稳定版.开发版和历史稳定版.开发版更新较快,包含最新的功能和bug的修复,但同时也可能会出现新的bug.开发版一旦更新稳定下来,就会被加入稳定版分支中.然而有些新功能不一定会被加到稳定版中去.稳定版更新较慢,但是bug较少,可以作为生产环境的首选,因此通常建

《高性能Linux服务器构建实战》——3.2节剖析Memcached的工作原理

3.2 剖析Memcached的工作原理 3.2.1 Memcached的工作过程 Memcached是一种C/S模式,在服务器端启动服务守护进程,此时可以指定监听的IP地址.端口号以及使用多少内存来处理客户端的请求等几个关键参数.服务器端的服务启动后就一直处于等待处理客户端的连接状态.Memcached 是由C语言来实现的,采用的是异步I/O,其实现方式是基于事件的单进程和单线程的.使用libevent 作为事件通知机制,多个服务器端可以协同工作,但这些服务器端之间没有任何通信关系,每个服务器