使用Nginx作缓存服务器以及删除其缓存文件的方法_nginx

使用nginx做cache服务器

需求就是缓存android的软件包,后缀名是apk。话不多说,直接上配置,供参考:

a-->nginx.conf
user www www;
worker_processes 8;
error_log /data/logs/nginx_error.log crit;
pid    /usr/local/nginx/nginx.pid;
worker_rlimit_nofile 204800;

events
{
 use epoll;
 worker_connections 204800;
}

http
{
  include    mime.types;
  #apk 文件类型
  #default_type application/vnd.android.package-archive;
  default_type application/octet-stream;

  charset utf-8;

  server_names_hash_bucket_size 128;
  client_header_buffer_size 2k;
  large_client_header_buffers 4 4k;
  client_max_body_size 8m;

  sendfile on;
  tcp_nopush   on;

  keepalive_timeout 60;
  open_file_cache max=204800 inactive=20s;
  open_file_cache_min_uses 1;
  open_file_cache_valid 30s;

  tcp_nodelay on;
  client_body_buffer_size 512k;

  #跟后端服务器连接的超时时间_发起握手等候响应超时时间
  proxy_connect_timeout 600;
  #连接成功后_等候后端服务器响应的时间_其实已经进入后端的排队之中等候处理
  proxy_read_timeout 600;
  #后端服务器数据回传时间_就是在规定时间内后端服务器必须传完所有数据
  proxy_send_timeout 600;
  #代理请求缓存区_这个缓存区间会保存用户的头信息以供Nginx进行规则处理_一般只要能保存下头信息即可
  proxy_buffer_size 16k;
  #同上 告诉Nginx保存单个用的几个Buffer最大用多大空间
  proxy_buffers 4 64k;
  #如果系统很忙的时候可以申请更大的proxy_buffers 官方推荐*2
  proxy_busy_buffers_size 128k;
  #proxy缓存临时文件的大小
  proxy_temp_file_write_size 128k;

  gzip on;
  gzip_proxied expired no-cache no-store private auth;
  gzip_min_length 1k;
  gzip_buffers   4 16k;
  gzip_http_version 1.1;
  gzip_comp_level 3;
  gzip_types    text/plain application/x-javascript text/css application/xml;
  gzip_disable "MSIE [1-6]\.";
  gzip_vary on;

  #log_format access '$remote_addr - $remote_user [$time_local] '
  #          '"$request" $status $body_bytes_sent '
  #          '"$http_referer" "$http_user_agent" '
  #          '$host $request_time $http_x_forwarded_for';
  #access_log /data/logs/http.a.log;
  #error_log /data/logs/http.e.log;

  include vhosts/cache.peiqiang.net.conf;
}

upstream source_site {
  server 192.168.1.1:80 weight=7 max_fails=2 fail_timeout=30s;
  server 192.168.1.2:80 weight=4 max_fails=2 fail_timeout=30s;
}

b-->cache.peiqiang.net.conf
#用于指定本地目录来缓冲较大的代理请求
proxy_temp_path /data/soft/temp;
#设置web缓存区名为cache_one,内存缓存空间大小为12000M,自动清除超过15天没有被访问过的缓存数据,硬盘缓存空间大小200g
proxy_cache_path /data/soft/cache levels=1:2 keys_zone=cache_one:12000m inactive=15d max_size=200g;

server {
   listen 80;
   server_name cache.peiqiang.net;
   access_log /data/logs/a.log;
   error_log  /data/logs/e.log notice;

   # PHP Scripts is NOT allowed within this site!
   location ~* \.(php|php5|jsp|asp|aspx)$ {
     deny all;
   }

   location / {

     proxy_next_upstream http_500 http_502 http_503 http_504 error timeout invalid_header;
     proxy_cache cache_one;
     proxy_cache_valid 200 304 12h;
     proxy_cache_key $uri$is_args$args;

     #反向代理,访问后端内容源服务器
     proxy_set_header Host $host;
     proxy_set_header X-Forwarded-For $remote_addr;
     proxy_pass http://source_site;
   }

   location ~* .*\.(apk)$ {
     error_page 302 404 = @fallback;

     #如果后端的服务器返回500、502、503、504执行超时等错误、自动将请求转发到upstream负载均衡池中的另一台服务器,实现故障转移
     proxy_next_upstream http_500 http_502 http_503 http_504 error timeout invalid_header;

     #使用web缓存区cache_one
     proxy_cache cache_one;

     #对不同的HTTP状态码缓存设置不同的缓存时间
     proxy_cache_valid 200 304 12h;

     #设置Web缓存的Key值,Nginx根据Key值md5哈希存储缓存,这里根据"域名、URI、参数"组合成key
     proxy_cache_key $uri$is_args$args;

     #反向代理,访问后端内容源服务器
     proxy_set_header Host $host;
     proxy_set_header X-Forwarded-For $remote_addr;
     proxy_pass http://source_site;
     expires 1d;
   }

   location @fallback {
     rewrite ^ $scheme://apke.peiqiang.net$uri redirect;
     expires -1;
   }
}

说明:其实按这个配置location /这个匹配是多余的,因为过来一个后缀名为apk的软件包location ~* .*\.(apk)$已经给匹配上了,不会再到location /了,不过由于我们还会缓存些其他后缀名的文件,所以location /就是必须的。

c-->/etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local
ulimit -HSn 65535
/usr/local/nginx/sbin/nginx 

删除nginx缓存文件
一:脚本

a shell版

#!/bin/bash

#Date: 2013-06-27
#Auther: budong

#######################################################
#说明:
#  1.本脚本用于清除nginx缓存文件
#  2.查看你的nginx是根据什么作为key来hash的,我的设置是 proxy_cache_key $uri$is_args$args;
#  因此nginx会根据$uri$is_args$args作为key进行hash,因此可以模拟nginx对一个key进行再
#  hash找到相应的文件路径,删除(具体可随意找个缓存文件 more 一下看看)
#  3.缓存设置 proxy_cache_path /data/mumayi/cache levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g;
#  根据相应的配置,请做相应修改测试
#  4.uri格式请按照同级目录下rm_apk_list.txt中填写
#####################################################

while read -r line
do
  md5uri=`echo -n $line | md5sum | awk '{ print $1 }'`
  filepath=`echo "$md5uri" | awk '{print "/data/mumayi/cache/"substr($0,length($0),1)"/"substr($0,length($0)-2,2)"/"$0}'`
  rm -rf $filepath
done < /root/sbin/rm_apk_list.txt
b python版

#!/usr/local/python2.7/bin/python2.7
# -*- coding:utf8 -*-

#Date: 2013-06-26
#Name: budong

'''
说明:
  1.本脚本用于清除nginx缓存文件
  2.查看你的nginx是根据什么作为key来hash的,我的设置是 proxy_cache_key $uri$is_args$args;
  因此nginx会根据$uri$is_args$args作为key进行hash,因此可以模拟nginx对一个key进行再
  hash找到相应的文件路径,删除(具体可随意找个缓存文件 more 一下看看)
  3.缓存设置 proxy_cache_path /data/mumayi/cache levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g;
  根据相应的配置,请做相应修改测试
  4.uri格式请按照同级目录下rm_apk_list.txt中填写
'''
import os
import sys
try:
  from hashlib import md5
except:
  from md5 import md5

reload( sys )
sys.setdefaultencoding('utf-8')

PROJECT_ROOT = os.path.dirname(os.path.abspath(__file__))
URI_FILE = ''.join([PROJECT_ROOT,'/rm_apk_list.txt'])

def nginx_purge(uri):
  m = md5()
  m.update("%s" % uri)
  md5uri=m.hexdigest()
  md5uri_len=len(md5uri)
  dir1=md5uri[md5uri_len-1:]
  dir2=md5uri[md5uri_len-3:md5uri_len-1]
  file_path=("/data/mumayi/cache/%s/%s/%s" % (dir1, dir2, md5uri))
  if os.path.exists(file_path):
    os.remove(file_path)

with open("%s" % URI_FILE,'r') as uri_file:
  for line in uri_file:
    line = line.rstrip()
    nginx_purge(line)

c ngx_cache_purge不做考虑,据说已经停止开发了

说明:

1 我的 /root/sbin/rm_apk_list.txt 文件

[root@budong ~]# cat /root/sbin/rm_apk_list.txt
/2013/08/15/38/382272/shuazanzhushou_V1.8.16_mumayi_95a91.apk

2 查看一个缓存对象,应该有些明白了吧

[root@budong ~]# more /data/mumayi/cache/0/00/db9327b60a6b3c164516117f90d9d000 
KEY: /2013/10/23/43/432816/dinuochongwuDinoPets_V1.1.1_mumayi_0b399.apk
HTTP/1.1 200 OK
Server: nginx/1.2.6
Date: Sun, 15 Dec 2013 19:51:22 GMT
Content-Type: application/vnd.android.package-archive
Content-Length: 37466293
Connection: close
Last-Modified: Wed, 23 Oct 2013 06:15:06 GMT
Expires: Wed, 18 Dec 2013 17:35:07 GMT
Cache-Control: max-age=604800
Accept-Ranges: bytes

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索nginx
缓存
nginx图片缓存服务器、nginx 缓存服务器、nginx缓存服务器配置、nginx视频缓存服务器、nginx 缓存代理服务器,以便于您获取更多的相关知识。

时间: 2024-11-10 00:26:40

使用Nginx作缓存服务器以及删除其缓存文件的方法_nginx的相关文章

Nginx服务器实现数据静态压缩的方法_nginx

nginx实现静态压缩这种做法其实就像apache gzip压缩了,这种压缩是我们常见的一些事情了,下面我来介绍一些做法. 在搭建squid网页加速的时候,对于大的css 或者js要进行压缩,然后再进行缓存,这样能够提高减小下载量提高页面响应速度.如果你用的是squid 3.0以前的版本并且用的是 ngnix server的话可能会碰到如下问题: 不用squid直接打开页面则客户端返回的是压缩的状态,如果启用squid加速会发现下载下来的页面不是压缩状态.这里面主要是没有启动ngnix 的静态缓

PHP(FastCGI)在Nginx的alias下出现404错误的解决方法_nginx

本文讲述了PHP(FastCGI)在Nginx的alias下出现404错误的解决方法.分享给大家供大家参考,具体如下: 在Nginx的官方wiki中如下描述 The alias directive cannot be used inside a regex-specified location. If you need to do this you must use a combination of rewrite and root. 在实际使用中alias下面的php返回404,而html确可

Node.js站点使用Nginx作反向代理时配置GZip压缩的教程_nginx

node.js 开发的站点,如果你也是用了nginx实现反向代理. 那么在服务端可以轻松实现 gzip 压缩,让站点浏览更顺畅. 前提条件: node.js + nginx 反向代理. node.js 需要做的工作: express 4.0以下版本: app.use(express.compress()); //主要是这句 app.use(express.json()); app.use(express.urlencoded()); app.use(express.bodyParser());

详解Nginx服务器中配置超时时间的方法_nginx

一.啥时候用到        用来设置请求资源和服务器返回的时间,保证一个请求占用固定时间,超出后报504超时!这样可以保证一个请求占用过长时间. 二.主要参数       使用nginx服务器如果遇到timeou情况时可以如下设置参数,使用fastcgi:          fastcgi_connect_timeout 75;  链接          fastcgi_read_timeout 600;   读取          fastcgi_send_timeout 600;   发请

Nginx服务器设置网站验证访问的方法_nginx

为网站目录设置访问验证之后我们就是进入此页面都需要输入验证密码才可以,下面我来介绍nginx中配置目录访问验证码方法总结. 1.创建类htpasswd文件 执行:   wget -c soft.vpser.net/lnmp/ext/htpasswd.sh;bash htpasswd.sh 按提示输入用户名.密码.及认证文件名.脚本会自动生成认证文件.记录下脚本返回的文件路径.如:/usr/local/nginx/conf/vpser.net.auth. 2.为Nginx添加auth认证配置 下面

Nginx服务器限制访问速度的配置方法_nginx

用Nginx建站的同学,常会有限速需求.开发测试阶段在本地限速模拟公网的环境,方便调试.投入运营会有限制附件下限速度,限制每个用户的访问速度,限制每个IP的链接速度等需求. 刚遇到一个Bug在网络很卡的情况下才能重现,本地调试访问本机速度太快,配置Nginx成功达到限速目的,在此分享出来. 配置简单,只需3行,打开"nginx根目录/conf/nginx.conf"配置文件修改如下: http{ -- limit_zone one $binary_remote_addr 10m; --

关于nginx+php5.3.8+eclipse3.7工作空间的配置方法_nginx

因此可以直接在自己的工作空间运行程序,但当用到eclipse3.7和PDT3.0.2的集成时居然不允许在base url栏填写自己工作空间的目录了,网上查阅包括英文仍无办法,因此只得另想办法. 这个版本的PDT只允许填写不同端口号的base url 的服务器,所以我就在nginx另作一个不同于主端口号的服务端口,把这个端口号的主目录定位到eclipse的工作空间,然后把eclipse的php服务器设置为这个端口号,以后在eclipse工作空间的工程都能自动运行了. 于是修改nginx.conf添

在Nginx用htpasswd对网站进行密码保护的设置方法_nginx

最后的效果就类似(不同浏览器的界面有所不同): 如果认证失败,就会报HTTP错误:401 Authorization Required. 要实现这样的功能,就需要更改服务器的配置,并设定好用于登录的用户名和密码. 首先我们需要更改网站的Nginx的server配置,Ubuntu服务器的话这个配置文件通常位于/etc/nginx/sites-enabled/,比如我这里就使用默认的配置文件/etc/nginx/sites-enabled/default来做一个例子: 复制代码 代码如下: serv

Nginx中配置过滤爬虫的User-Agent的简单方法_nginx

过去写博客的时候经常出现服务器宕机,网页全部刷不出来,但是Ping服务器的时候又能Ping通.登录SSH看了下top,惊呆了,平均负载13 12 8.瞬间觉得我这是被人DDOS了么?看了下进程基本上都是php-fpm把CPU给占了,去看下日志吧... 一看不得了,基本上都是被一个User Agent叫"YisouSpider"的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了. 找到根目录配置区,增加User Agent过滤判断语句,发现叫"YisouSpider"