Nginx缓存Cache的配置方案以及相关内存占用问题解决_nginx

nginx缓存cache的5种方案
 1、传统缓存之一(404)
  这个办法是把nginx的404错误定向到后端,然后用proxy_store把后端返回的页面保存。
  配置:

  location / {
  root /home/html/;#主目录
  expires 1d;#网页的过期时间
  error_page 404 =200 /fetch$request_uri;#404定向到/fetch目录下
  }
  location /fetch/ {#404定向到这里
  internal;#指明这个目录不能在外部直接访问到
  expires 1d;#网页的过期时间
 alias /html/;
 proxy_store会将文件保存到这目录下
  proxy_passhttp://www.jb51.net/;#后端upstream地址,/fetch同时是一个代理
  proxy_set_header Accept-Encoding '';#让后端不要返回压缩(gzip或deflate)的内容,保存压缩后的内容会引发乱子。
  proxy_store on;#指定nginx将代理返回的文件保存
  proxy_temp_path /home/tmp;#临时目录,这个目录要和/home/html在同一个硬盘分区内

  }

  使用的时候还有要注意是nginx要有权限往/home/tmp和/home/html下有写入文件的权限,在linux下nginx一般会配置成nobody用户运行,这样这两个目录就要chown nobody,设成nobody用户专用,当然也可以chmod 777,不过所有有经验的系统管理员都会建议不要随便使用777。
  2、传统缓存之二(!-e)
  原理和404跳转基本一致,但更简洁一些:

  location / {
  root /home/html/;
  proxy_store on;
  proxy_set_header Accept-Encoding '';
  proxy_temp_path /home/tmp;
  if ( !-f $request_filename )
  {
  proxy_passhttp://www.jb51.net/;
  }
  }

  可以看到这个配置比404节约了不少代码,它是用!-f来判断请求的文件在文件系统上存不存在,不存在就proxy_pass到后端,返回同样是用proxy_store保存。
  两种传统缓存都有着基本一样的优点和缺点:
  缺点1:不支持带参数的动态链接,比如read.php?id=1,因为nginx只保存文件名,所以这个链接只在文件系统下保存为read.php,这样用户访问read.php?id=2时会返回不正确的结果。同时不支持http://www.jb51.net/这种形式的首页和二级目录http://www.jb51.net/download/,因为nginx非常老实,会将这样的请求照链接写入文件系统,而这个链接显然是一个目录,所以保存失败。这些情况都需要写rewrite才能正确保存。
  缺点2:nginx内部没有缓存过期和清理的任何机制,这些缓存的文件会永久性地保存在机器上,如果要缓存的东西非常多,那就会撑暴整个硬盘空间。为此可以使用一个shell脚本定期清理,同时可以撰写php等动态程序来做实时更新。
  缺点3:只能缓存200状态码,因此后端返回301/302/404等状态码都不会缓存,假如恰好有一个访问量很大的伪静态链接被删除,那就会不停穿透导致后端承载不小压力。
  缺点4:nginx不会自动选择内存或硬盘作为存储介质,一切由配置决定,当然在当前的操作系统里都会有操作系统级的文件缓存机制,所以存在硬盘上也不需要过分担心大并发读取造成的io性能问题。
  nginx传统缓存的缺点也是它和squid等缓存软件的不同之特色,所以也可看作其优点。在生产应用中它常常用作和squid的搭档,squid对于带?的链接往往无法阻挡,而nginx能将其访问拦住,例如:http://jb51.net/?和http://jb51.net/在squid上会被当做两个链接,所以会造成两次穿透;而nginx只会保存一次,无论链接变成http://jb51.net/?1还是http://jb51.net/?123,均不能透过nginx缓存,从而有效地保护了后端主机。
  nginx会非常老实地将链接形式保存到文件系统中,这样对于一个链接,可以很方便地查阅它在缓存机器上的缓存状态和内容,也可以很方便地和别的文件管理器如rsync等配合使用,它完完全全就是一个文件系统结构。
  这两种传统缓存都可以在linux下将文件保存到/dev/shm里,一般我也是这么做的,这样可以利用系统内存来做缓存,利用内存的话,清理过期内容速度就会快得多。使用/dev/shm/时除了要把tmp目录也指向到/dev/shm这个分区外,如果有大量小文件和目录,还要修改一下这个内存分区的inode数量和最大容量:
 

 mount -o size=2500M -o nr_inodes=480000 -o noatime,nodiratime -o remount /dev/shm

  上面的命令在一台有3G内存的机器上使用,因为/dev/shm默认最大内存是系统内存的一半就是1500M,这条命令将其调大成2500M,同时shm系统inode数量默认情况下可能是不够用的,但有趣的是它可以随意调节,这里调节为480000保守了点,但也基本够用了。
  3、基于memcached的缓存
  nginx对memcached有所支持,但是功能并不是特别之强,性能上还是非常之优秀。
 

 location /mem/ {
  if ( $uri ~ "^/mem/([0-9A-Za-z_]*)$" )
  {
  set $memcached_key "$1";
  memcached_pass  192.168.1.2:11211;
  }
  expires 70;
  }

  这个配置会将http://jb51.net/mem/abc指明到memcached的abc这个key去取数据。
  nginx目前没有写入memcached的任何机制,所以要往memcached里写入数据得用后台的动态语言完成,可以利用404定向到后端去写入数据。
  4、基于第三方插件ncache
  ncache是新浪兄弟开发的一个不错的项目,它利用nginx和memcached实现了一部分类似squid缓存的功能,我并没有使用这个插件的经验,可以参考:
  http://code.google.com/p/ncache/
  5、nginx新开发的proxy_cache功能
  从nginx-0.7.44版开始,nginx支持了类似squid较为正规的cache功能,目前还处于开发阶段,支持相当有限,这个缓存是把链接用md5编码hash后保存,所以它可以支持任意链接,同时也支持404/301/302这样的非200状态。
  配置:
  首先配置一个cache空间:

复制代码 代码如下:

  proxy_cache_path /path/to/cache levels=1:2 keys_zone=NAME:10m inactive=5m max_size=2m clean_time=1m;

  注意这个配置是在server标签外,levels指定该缓存空间有两层hash目录,第一层目录是1个字母,第二层为2个字母,保存的文件名就会类似/path/to/cache/c/29/b7f54b2df7773722d382f4809d65029c;keys_zone为这个空间起个名字,10m指空间大小为10MB;inactive的5m指缓存默认时长5分钟;max_size的2m是指单个文件超过2m的就不缓存;clean_time指定一分钟清理一次缓存。

  location / {
  proxy_passhttp://www.jb51.net/;
  proxy_cache NAME;#使用NAME这个keys_zone
  proxy_cache_valid 200 302 1h;#200和302状态码保存1小时
  proxy_cache_valid 301 1d;#301状态码保存一天
  proxy_cache_valid any 1m;#其它的保存一分钟
  }

  ps:支持cache的0.7.44到0.7.51这几个版本的稳定性均有问题,访问有些链接会出现错误,所以这几个版本最好不要在生产环境中使用。nginx-0.7下目前所知较为稳定的版本是0.7.39。稳定版0.6.36版也是近期更新,如果在配置里没有使用到0.7的一些新标签新功能,也可以使用0.6.36版。

Nginx缓存的内存占用问题的一般解决方法
1、前些日子某服务被刷,每分钟达到上几百万请求;当时采用了nginx cache来解决的;但是因为某服务不能缓存太久,当时设置了5s,那么带来的问题就是产生大量小文件,而且很快就删除了。
 
2、通过

free -m

会发现used是27G;但是通过top查看进程占的内存并没有那么多

那内存去哪了?
 
3、通过查阅资料会发现(cat /proc/meminfo)
Slab: 22464312 kB
SReclaimable: 16474128 kB (这些是内核保持的但是可以释放的inode和dentry的缓存)
SUnreclaim: 5990184 kB
 
4、这些内存为什么会不自动清理呢?
某机房机器系统版本:Linux  2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux(正常,没出现内存快到100%的情况)
某机房机器系统版本:Linux  2.6.32-279.el6.x86_64 #1 SMP Fri Jun 22 12:19:21 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux (不释放)
 
5、通过设置如下参数来设置内存阀值

sysctl -w vm.extra_free_kbytes=6436787
sysctl -w vm.vfs_cache_pressure=10000

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索nginx
, 缓存
, 配置
nginx配置
nginx proxy cache、nginx cache、nginx cache control、nginx cache 配置、nginx no cache,以便于您获取更多的相关知识。

时间: 2024-10-14 13:09:17

Nginx缓存Cache的配置方案以及相关内存占用问题解决_nginx的相关文章

在Nginx服务器上安装配置博客程序Typecho的教程_nginx

typecho比wordpress更轻,更专注于写的享受. 现在大多的虚拟机运行环境都是lnmp,安装教程安装typecho可能会遇到404,数据配置错误问题. 把这两天安装typecho的步骤写下来给大家参考. typecho安装方法 1.下载 #网站目录 cd /usr/local/nginx/html/ wget https://github.com/typecho/typecho/releases/download/v0.9-13.12.12-release/0.9.13.12.12.-

nginx缓存cache的几种方案

貌似从来没有写过nginx的缓存功能,都是只看不分享,这是不好之习惯啊. 1.传统缓存之一(404) 这个办法是把nginx的404错误定向到后端,然后用proxy_store把后端返回的页面保存. 配置: location / { root /home/html/;#主目录 expires 1d;#网页的过期时间 error_page 404 =200 /fetch$request_uri;#404定向到/fetch目录下 } location /fetch/ {#404定向到这里 inter

Nginx下修改WordPress固定链接导致无法访问的问题解决_nginx

今天下午没事,像以往一样开始做seo的优化,当然牵扯到永久链接,wordpress提供多种类型的链接形式     1/%year%/%monthnum%/%day%/%postname%/     2/%year%/%monthnum%/%postname%/     3/%year%/%monthnum%/%day%/%postname%.html     4/%year%/%monthnum%/%postname%.html     5/%category%/%postname%.html

HTML 5缓存机制:Cache Manifest配置实例

Cache Manifest是HTML 5的一种缓存机制,文章作者直接用博客当测试环境,虽然应用起来非常简单,但效果却出奇的好.缓存后的速度,简直是惊人的快.像Yslow显示,打开一个缓存过的页面,只要0.729秒,比不缓存的差不多快了10倍. 一.Cache Manifest基础知识 作为一个Web开发相关的人员,都不会少听到.看到Cache这个词.是的,上面也已经说了,它是一种缓存的机制.它可以通过一个.manifest文件来配置需要缓存的或者一定要保持联网缓存的文件.而重点就是这个.man

HTML5缓存Cache Manifest实例讲解

Cache Manifest是HTML5的一种缓存机制,文章作者直接用博客当测试环境,虽然应用起来非常简单,但效果却出奇的好.缓存后的速度,简直是惊人的快.像Yslow显示,打开一个缓存过的页面,只要0.729秒,比不缓存的差不多快了10倍. 一.Cache Manifest基础知识 作为一个Web开发相关的人员,都不会少听到.看到Cache这个词.是的,上面也已经说了,它是一种缓存的机制.它可以通过一个.manifest文件来配置需要缓存的或者一定要保持联网缓存的文件.而重点就是这个.mani

nginx缓存功能cache的教程

1.传统缓存之一(404) 这个办法是把nginx的404错误定向到后端,然后用proxy_store把后端返回的页面保存. 1.传统缓存之一(404) 这个办法是把nginx的404错误定向到后端,然后用proxy_store把后端返回的页面保存. 配置: location / { root /home/html/;#主目录 expires 1d;#网页的过期时间 error_page 404 =200 /fetch$request_uri;#404定向到/fetch目录下 } locatio

Nginx content cache Nginx内容缓存,中英翻译对照

Nginx content cache Nginx内容缓存 This chapter describes how to enable and configure caching responses received from proxied servers. When caching is enabled NGINX saves responses in the cache on the disk and uses them to respond to clients without proxy

nginx缓存区内存配置大小对性能测试的影响

现象:Nginx与应用都在同一台服务器(4g内存.4核cpu)上,nginx缓存区内存配置1g,开启nginx的accesslog,跑图片终端页性能脚本,观察到accesslog里面有90%以上的MISS状态的,nginx缓存没有起到作用,加大nginx缓存内存为2g,清了缓存再次跑性能脚本,accesslog中的MISS状态仍占大部分,且应用服务器的内存空间基本被用完. 解决:将nginx与应用分开,nginx放在一台服务器上,应用包搬到另一服务器(6g内存.8核cpu)上,跑图片终端页脚本,

Nginx中防止SQL注入攻击的相关配置介绍_nginx

防止sql注入最好的办法是对于提交后台的所有数据都进行过滤转义. 对于简单的情况,比如包含单引号' , 分号;, <, >, 等字符可通过rewrite直接重订向到404页面来避免. 用rewrite有个前提需要知道,一般用rewrite进行正则匹配只能匹配到网页的URI,也就是url中?前部分,?以后部分是请求参数. 问号后面的请求参数,在nginx用$query_string表 示,不能在rewrite中匹配到,需要用if判断 例如,对于参数中带有单引号的'进行匹配然后定向到错误页面, /