Nginx 作为反向代理优化要点proxy_buffering

当nginx用于反向代理时，每个客户端将使用两个连接：一个用于响应客户端的请求，另一个用于到后端的访问；

那么，可以从如下配置起步:


1

2

3

4

5

6

7

8

9

10

11

12

13

14

# One worker per CPU-core.

worker_processes  2;

events {

    worker_connections  8096;

    multi_accept        on;

    use                 epoll;

}

worker_rlimit_nofile 40000;

http {

    sendfile           on;

    tcp_nopush         on;

    tcp_nodelay        on;

    keepalive_timeout  15;

}

标准的代理配置

下面是一个基本的反向代理配置模板，将所有请求都转发给指定的后端应用。

例如，到http://your.ip:80/的请求都将重定向到 http://127.0.0.1:4433/ 私有服务器:


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

# One process for each CPU-Core

worker_processes  2;

# Event handler.

events {

    worker_connections  8096;

    multi_accept        on;

    use                 epoll;

}

http {

     # Basic reverse proxy server

     upstream backend  {

           server 127.0.0.1:4433;

     }

     # *:80 -> 127.0.0.1:4433

     server {

            listen       80;

            server_name  example.com;

            ## send all traffic to the back-end

            location / {

                 proxy_pass        http://backend;

                 proxy_redirect    off;

                 proxy_set_header  X-Forwarded-For $remote_addr;

            }

     }

}

缓冲控制

如果禁止缓冲，那么当Nginx一收到后端的反馈就同时传给客户端。

nginx 不会从被代理的服务器读取整个反馈信息。

nginx可从服务器一次接收的最大数据大小由  proxy_buffer_size 控制。


1

2

3

proxy_buffering    off;

proxy_buffer_size  128k;

proxy_buffers 100  128k;



相关参数
proxy_buffer_size
语法: proxy_buffer_size the_size
默认值: proxy_buffer_size 4k/8k
上下文: http, server, location

该指令设置缓冲区大小,从代理后端服务器取得的第一部分的响应内容,会放到这里.小的响应header通常位于这部分响应内容里边.
默认来说,该缓冲区大小等于指令 proxy_buffers所设置的;但是,你可以把它设置得更小.

proxy_buffering
语法: proxy_buffering on|off
默认值: proxy_buffering on
上下文: http, server, location

这个参数用来控制是否打开后端响应内容的缓冲区，如果这个设置为off，那么proxy_buffers和proxy_busy_buffers_size这两个指令将会失效。 但是无论proxy_buffering是否开启，对proxy_buffer_size都是生效的。

proxy_buffering开启的情况下，nignx会把后端返回的内容先放到缓冲区当中，然后再返回给客户端(边收边传，不是全部接收完再传给客户端)。 临时文件由proxy_max_temp_file_size和proxy_temp_file_write_size这两个指令决定的。如果响应内容无法放在内存里边,那么部分内容会被写到磁盘上。

如果proxy_buffering关闭，那么nginx会立即把从后端收到的响应内容传送给客户端，每次取的大小为proxy_buffer_size的大小，这样效率肯定会比较低。
nginx不尝试计算被代理服务器整个响应内容的大小,nginx能从服务器接受的最大数据,是由指令proxy_buffer_size指定的.

注：1、 proxy_buffering启用时，要提防使用的代理缓冲区太大。这可能会吃掉你的内存，限制代理能够支持的最大并发连接数。

2、对于基于长轮询(long-polling)的Comet 应用来说,关闭 proxy_buffering 是重要的,不然异步响应将被缓存导致Comet无法工作

proxy_buffers
语法: proxy_buffers the_number is_size;
默认值: proxy_buffers 8 4k/8k;
上下文: http, server, location

该指令设置缓冲区的大小和数量,从被代理的后端服务器取得的响应内容,会放置到这里. 默认情况下,一个缓冲区的大小等于内存页面大小,可能是4K也可能是8K,这取决于平台。
 proxy_buffers由缓冲区数量和缓冲区大小组成的。总的大小为number*size。
若某些请求的响应过大,则超过_buffers的部分将被缓冲到硬盘(缓冲目录由_temp_path指令指定), 当然这将会使读取响应的速度减慢, 影响用户体验. 可以使用proxy_max_temp_file_size指令关闭磁盘缓冲.

proxy_busy_buffers_size
语法: proxy_busy_buffers_size size;
默认值: proxy_busy_buffers_size proxy_buffer_size * 2;
上下文: http, server, location, if

proxy_busy_buffers_size不是独立的空间，他是proxy_buffers和proxy_buffer_size的一部分。nginx会在没有完全读完后端响应的时候就开始向客户端传送数据，所以它会划出一部分缓冲区来专门向客户端传送数据(这部分的大小是由proxy_busy_buffers_size来控制的，建议为proxy_buffers中单个缓冲区大小的2倍)，然后它继续从后端取数据，缓冲区满了之后就写到磁盘的临时文件中。

proxy_max_temp_file_size和proxy_temp_file_write_size

临时文件由proxy_max_temp_file_size和proxy_temp_file_write_size这两个指令决定。 proxy_temp_file_write_size是一次访问能写入的临时文件的大小，默认是proxy_buffer_size和proxy_buffers中设置的缓冲区大小的2倍，Linux下一般是8k。
proxy_max_temp_file_size指定当响应内容大于proxy_buffers指定的缓冲区时, 写入硬盘的临时文件的大小. 如果超过了这个值, Nginx将与Proxy服务器同步的传递内容, 而不再缓冲到硬盘. 设置为0时, 则直接关闭硬盘缓冲.

总结：

buffer工作原理
首先第一个概念是所有的这些proxy buffer参数是作用到每一个请求的。每一个请求会安按照参数的配置获得自己的buffer。proxy buffer不是global而是per request的。

proxy_buffering 是为了开启response buffering of the proxied server，开启后proxy_buffers和proxy_busy_buffers_size参数才会起作用。

无论proxy_buffering是否开启，proxy_buffer_size（main buffer）都是工作的，proxy_buffer_size所设置的buffer_size的作用是用来存储upstream端response的header。

在proxy_buffering 开启的情况下，Nginx将会尽可能的读取所有的upstream端传输的数据到buffer，直到proxy_buffers设置的所有buffer们被写满或者数据被读取完(EOF)。此时nginx开始向客户端传输数据，会同时传输这一整串buffer们。同时如果response的内容很大的话，Nginx会接收并把他们写入到temp_file里去。大小由proxy_max_temp_file_size控制。如果busy的buffer传输完了会从temp_file里面接着读数据，直到传输完毕。

一旦proxy_buffers设置的buffer被写入，直到buffer里面的数据被完整的传输完（传输到客户端），这个buffer将会一直处在busy状态，我们不能对这个buffer进行任何别的操作。所有处在busy状态的buffer size加起来不能超过proxy_busy_buffers_size，所以proxy_busy_buffers_size是用来控制同时传输到客户端的buffer数量的。

缓存和过期控制

上面的配置是将所有请求都转发给后端应用。为避免静态请求给后端应用带来的过大负载，我们可以将nginx配置为缓存那些不变的响应数据。

这就意味着nginx不会向后端转发那些请求。

下面示例，将 *.html, *.gif, 等文件缓存30分钟。:


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

http {

     #

     # The path we'll cache to.

     #

     proxy_cache_path /tmp/cache levels=1:2 keys_zone=cache:60m max_size=1G;

}

            ## send all traffic to the back-end

            location / {

                 proxy_pass  http://backend;

                 proxy_redirect off;

                 proxy_set_header        X-Forwarded-For $remote_addr;

                 location ~* \.(html|css|jpg|gif|ico|js)$ {

                        proxy_cache          cache;

                        proxy_cache_key      $host$uri$is_args$args;

                        proxy_cache_valid    200 301 302 30m;

                        expires              30m;

                        proxy_pass  http://backend;

                 }

            }

这里，我们将请求缓存到 /tmp/cache，并定义了其大小限制为1G。同时只允许缓存有效的返回数据，例如:

1

proxy_cache_valid  200 301 302 30m;

所有响应信息的返回代码不是 "HTTP (200|301|302) OK" 的都不会被缓存。

对于例如workpress的应用，需要处理cookies 和缓存的过期时间，通过只缓存静态资源来避免其带来的问题。

时间： 2024-11-03 19:33:09

Nginx 作为反向代理优化要点proxy_buffering的相关文章

【NodeJs】Linux安装NodeJs并配合Nginx实现反向代理

Linux安装NodeJs并配合Nginx实现反向代理 NodeJs 是什么 Node.js是一个Javascript运行环境(runtime).实际上它是对Google V8引擎进行了封装.V8引 擎执行Javascript的速度非常快,性能非常好. Node.js对一些特殊用例进行了优化,提供了替代的API,使得V8在非浏览器环境下运行得更好. 本地安装(OS X) 版本选择 V4.4.4,长期支持版本,成熟可靠 V6.2.0 稳定版本,最新特性 这里我还是倾向于使用最新的版本~ 下载安装包

Linux安装NodeJs并配合Nginx实现反向代理_Linux

本文介绍了Linux安装NodeJs并配合Nginx实现反向代理 ,具体如下: NodeJs是什么? Node.js是一个JavaScript运行环境(runtime).实际上它是对Google V8引擎进行了封装.V8引 擎执行Javascript的速度非常快,性能非常好. Node.js对一些特殊用例进行了优化,提供了替代的API,使得V8在非浏览器环境下运行得更好. 本地安装(OS X) 版本选择 V4.4.4,长期支持版本,成熟可靠 V6.2.0 稳定版本,最新特性 这里我还是倾向于使用

如何在阿里云上部署Nginx实现反向代理？

如何在阿里云上部署Nginx实现反向代理? 云中沙箱实验"在阿里云上部署Nginx实现反向代理",教您如何在阿里云上部署Nginx实现反向代理? 云中沙箱,阿里云官方实验平台.网址:http://lab.aliyunedu.net   一.基本概念 业务背景     在很多情况下,可能只有一个公网IP地址,但是内部有多个服务需要映射出去,如:www.domain.com,oa.domain.com,并且,相关的服务不在同一台服务器上面的时候,那直接做端口映射就无法达到要求了.这时设置反

详解Nginx + Tomcat 反向代理 负载均衡 集群 部署指南_nginx

Nginx是一种服务器软件,也是一种高性能的http和反向代理服务器,同时还是一个代理邮件服务器.也就是说,我们在Nginx上可以发布网站,可以实现负载均衡(提高应答效率,避免服务器崩溃),还可以作为邮件服务器实现收发邮件等功能.而最常见的就是使用Nginx实现负载均衡. Nginx与其他服务器的性能比较: Tomcat服务器面向Java语言,是重量级的服务器,而Nginx是轻量级的服务器.Apache服务器稳定.开源.跨平台,但是Apache服务器不支持高并发,Nginx能支持处理百万级的TC

详解Nginx + Tomcat 反向代理 如何在高效的在一台服务器部署多个站点_nginx

上一篇分享了 Nginx + Tomcat 反向代理 负载均衡 集群 部署指南,感觉还是相当实用型的,但是一般集群部署是基于大访问量的,可能有的企业用不到,类似一些企业官网,访问量并不是很大,基于这个新需求,今天专门为大家分享一下 Nginx + Tomcat 反向代理 如何在一台服务器部署多个站点,节省服务器开支,就在这篇文章了. 首先我们需要安装好Nginx.jdk.Tomcat,安装方法已经在 上一篇 说过了,本篇不再赘述. 下来看一下我们的需求,我这里有三个网站项目工程需要部署(依次对应

Node.js站点使用Nginx作反向代理时配置GZip压缩的教程_nginx

node.js 开发的站点,如果你也是用了nginx实现反向代理. 那么在服务端可以轻松实现 gzip 压缩,让站点浏览更顺畅. 前提条件: node.js + nginx 反向代理. node.js 需要做的工作: express 4.0以下版本: app.use(express.compress()); //主要是这句 app.use(express.json()); app.use(express.urlencoded()); app.use(express.bodyParser());

nginx+tomcat-nginx 反向代理转发问题

问题描述 nginx 反向代理转发问题 环境:nginx+tomcat default.conf upstream myproject{ server 10.192.22.101:8080; server 10.192.22.102:8080; } server{ listen 80; server_name 10.193.22.200; location /{ proxy_pass http://myproject; } } ......此处为default.conf自己的配置,没有修改 目前

nginx做反向代理，如何保存cookie

问题描述 公司网站使用nginx服务做反向代理,但是这样之后,无法记录cookie.想把用户最近浏览的页面的地址存进cookie,但是反向代理却无法保存:如果跳过反向代理,把域名直接指向其中任意一台服务器,那么cookie就可以保存,就可以看到用户最近的浏览记录...请问,反向代理该如何保存cookie???谢谢!!! 解决方案 解决方案二:咋就没人理呢...真的很不好办啊...

Nginx的反向代理与负载均衡

1.1 集群是什么 简单地说,集群就是指一组(若干个)相互独立的计算机,利用高速通信网络组成的一个较大的计算机服务系统,每个集群节点(即集群中的每台计算机)都是运行各自服务的独立服器.这些服务器之间可以彼此通信,协同向用户提供应用程序.系统资源和数据,并以单一系统的模式加以管理.当用户客户机请求集群系统时,集群给用户的感觉就是一个单一独立的服务器,而实际上用户请求的是一组集群服务器. 打开谷歌.百度的页面,看起来好简单,也许你觉得用几分钟就可以制作出相似的网页,而实际上,这个页面的背后是由成千上