解析Nginx中的日志模块及日志基本的初始化和过滤配置_nginx

无论在任何项目中,日志都是一个非常重要的模块,无论是问题定位还是日常信息的管理,都离不开他

在nginx中,ngx_errlog_module模块专门用于处理nginx日志信息,是nginx的core模块之一

在 main 函数中,时间初始化结束后马上进行的就是日志模块的初始化

日志结构:
日志模块的初始化主要做的事情就是初始化全局变量 ngx_log,并创建 errlog 文件

ngx_log_s 结构
ngx_log 变量是一个 ngx_log_s 结构体,定义在 core/ngx_log.h 文件中,结构如下:

// struct ngx_log_s
// 日志结构 {{{
struct ngx_log_s {
 ngx_uint_t   log_level;  // 日志等级
 ngx_open_file_t  *file;   // 日志文件信息
 ngx_atomic_uint_t connection; // 引用该日志对象的连接数
 ngx_log_handler_pt handler;  // 输出日志时需要调用的回调函数
 void    *data;   // 回调函数所需要的参数
 ngx_log_writer_pt writer;
 void    *wdata;
 /*
  * we declare "action" as "char *" because the actions are usually
  * the static strings and in the "u_char *" case we have to override
  * their types all the time
  */
 char    *action;  // 日志记录前,保存当前正在进行的动作
 ngx_log_t   *next;   // 指向下一日志对象
}; // }}}

日志级别
nginx 中日志共分为9个级别:

#define NGX_LOG_STDERR   0
#define NGX_LOG_EMERG    1
#define NGX_LOG_ALERT    2
#define NGX_LOG_CRIT    3
#define NGX_LOG_ERR    4
#define NGX_LOG_WARN    5
#define NGX_LOG_NOTICE   6
#define NGX_LOG_INFO    7
#define NGX_LOG_DEBUG    8

 
ngx_open_file_s 结构
其中,日志的文件描述结构如下:

// struct ngx_open_file_s
// 打开文件结构 {{{
struct ngx_open_file_s {
 ngx_fd_t    fd;
 ngx_str_t    name;
 void    (*flush)(ngx_open_file_t *file, ngx_log_t *log);
   // 文件刷新时调用的回调
 void     *data; // 回调函数使用的参数
}; // }}}

所有文件相关的数据结构和操作都在 core/ngx_conf_file.h 和 core/ngx_conf_file.c 文件中

日志初始化过程
日志相关的初始化操作都在 core/ngx_log.c 文件中,现在我们调用的是其中的初始化函数:

// ngx_log_t *ngx_log_init(u_char *prefix);
// 初始化 ngx_log 结构,创建 errlog 文件 {{{
ngx_log_t *
ngx_log_init(u_char *prefix)
{
 u_char *p, *name;
 size_t nlen, plen;

 ngx_log.file = &ngx_log_file;
 ngx_log.log_level = NGX_LOG_NOTICE;

 name = (u_char *) NGX_ERROR_LOG_PATH;

 /*
  * we use ngx_strlen() here since BCC warns about
  * condition is always false and unreachable code
  */

 nlen = ngx_strlen(name);

 if (nlen == 0) {
  ngx_log_file.fd = ngx_stderr;
  return &ngx_log;
 }

 p = NULL;

 // 判断是否是绝对路径
#if (NGX_WIN32)
 if (name[1] != ':') {
#else
 if (name[0] != '/') {
#endif

  if (prefix) {
   plen = ngx_strlen(prefix);

  } else {
#ifdef NGX_PREFIX
   prefix = (u_char *) NGX_PREFIX;
   plen = ngx_strlen(prefix);
#else
   plen = 0;
#endif
  }

  if (plen) {
   name = malloc(plen + nlen + 2);
   if (name == NULL) {
    return NULL;
   }

   p = ngx_cpymem(name, prefix, plen);

   if (!ngx_path_separator(*(p - 1))) {
    *p++ = '/';
   }

   ngx_cpystrn(p, (u_char *) NGX_ERROR_LOG_PATH, nlen + 1);

   p = name;
  }
 }

 ngx_log_file.fd = ngx_open_file(name, NGX_FILE_APPEND,
         NGX_FILE_CREATE_OR_OPEN,
         NGX_FILE_DEFAULT_ACCESS);

 if (ngx_log_file.fd == NGX_INVALID_FILE) {
  ngx_log_stderr(ngx_errno,
      "[alert] could not open error log file: "
      ngx_open_file_n " \"%s\" failed", name);
#if (NGX_WIN32)
  ngx_event_log(ngx_errno,
      "could not open error log file: "
      ngx_open_file_n " \"%s\" failed", name);
#endif

  ngx_log_file.fd = ngx_stderr;
 }

 if (p) {
  ngx_free(p);
 }

 return &ngx_log;
}
// }}}

这个初始化过程非常容易理解,之后其他的日志操作也都在这个文件中,我们遇到之后再进行详细讲解

函数执行后,返回 ngx_log 结构的地址

ngx_log 结构取值如下:

{
 log_level = 6,
 file = 0x80e3000 <ngx_log_file>,
 connection = 0,
 handler = 0x0,
 data = 0x0,
 writer = 0x0,
 wdata = 0x0,
 action = 0x0,
 next = 0x0
}

file 字段取值:

{
 fd = 3,
 name = {
 len = 0,
 data = 0x0
 },
 flush = 0x0,
 data = 0x0
}

使用ngx_log_if不记录特定日志
第一步:
先到Github下载ngx_log_if地址https://github.com/cfsego/ngx_log_if/
第二步:
安装第三方模块到Nginx。第三方模块的安装可以参考http://wiki.nginx.org/3rdPartyModules 使用--add-module添加解压后的ngx_log_if如下

./configure --add-module=/var/local/ngx_log_if-master

然后再编译安装Nginx即可。
第三步:
配置access_log_bypass_if到nginx.conf配置文件中

server {
 location / {
  access_log_bypass_if ($status = 404); #不记录404状态的所有日志信息
  access_log_bypass_if ($uri ~* 'images'); #不记录uri中所有images目录下文件的日志信息
  access_log_bypass_if ($uri = '/index.html'); #不记录uri为/index.html的日志信息
 access_log_bypass_if ($host ~* 'tonv.cc'); #不记录host为tonv.cc的所有日志信息
 }
}

重启Nginx即可过滤不显示特定的日志了

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索日志
, nginx
, 配置
, nginx配置
ngx_errlog_module
nginx 日志过滤、java解析nginx日志、nginx 日志解析、nginx日志解析 python、nginx的日志解析 运维,以便于您获取更多的相关知识。

时间: 2024-09-18 02:37:08

解析Nginx中的日志模块及日志基本的初始化和过滤配置_nginx的相关文章

nginx中使用rewrite模块的参数及示例

本文中的内容收集整理自互联网,在nginx中使用rewrite模块的一些方法.参数及示例文件,供以后学习,特归纳出来供大家来参考. &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 正则表达式匹配,其中: * ~ 为区分 大小写匹配 * ~* 为不区分大小写匹配 * !~和!~*分别为区分大小写不匹配及不区分大小写不匹配 文件及目录匹配,其中: * -f和!-f用来判断是否存在文件 * -d和!-d用来判断是否存在

详解Nginx中的geo模块与利用其配置负载均衡的示例_nginx

geo指令使用ngx_http_geo_module模块提供的.默认情况下,nginx有加载这个模块,除非人为的 --without-http_geo_module. ngx_http_geo_module模块可以用来创建变量,其值依赖于客户端IP地址.geo指令语法: geo [$address] $variable { ... } 默认值: - 配置段: http 定义从指定的变量获取客户端的IP地址.默认情况下,nginx从$remote_addr变量取得客户端IP地址,但也可以从其他变量

nginx中使用nginx-http-concat模块合并静态资源文件_nginx

首先了解一下 nginx-http-concat,他是一个淘宝的开源Nginx模块,是一个能把多个CSS和JS合并成一个请求的Nginx模块,对于Web性能优化非常有意义. Github地址:https://github.com/alibaba/nginx-http-concat, 先看看淘宝用起来是什么样的,访问淘宝网主页,查看源代码可以看到类似的这样的style/script链接 复制代码 代码如下: <link rel="stylesheet" href="//g

Nginx中定义404页面并且返回404状态码的正确方法_nginx

前几天,一朋友出程序出问题却怎么查都没看出问题,于是让我帮它看看.其实它是ajax请求了很多个模板,然后把模板写到页面中.关键是所有请求的页面都是200正常状态码返回,表面上看没什么问题,实际上有些请求虽然返回200状态码,但给回的状态码是200.WebServer是nginx,直接告诉我应该他们配置了nginx的404错误页面,虽然请求不存在的资源可以成功返回404页面,但返回状态码确是200. 404.html 复制代码 代码如下: This is 404 page. 请求一个不存在的页面:

使用Lua编写Nginx服务器的认证模块的方法

  这篇文章主要介绍了使用Lua编写Nginx服务器的认证模块的方法,即诸如当今流行的社交应用接入等功能,需要的朋友可以参考下 过去两天里,我解决了一个非常有趣的问题.我用一个nginx服务器作为代理,需要能够向其中添加一个认证层,使其能够使用外部的认证源(比如某个web应用)来进行验证,如果用户在外部认证源有账号,就可以在代理里认证通过. 需求一览 我考虑了几种解决方案,罗列如下: 用一个简单的Python/Flask模块来做代理和验证. 一个使用subrequests做验证的nginx模块(

使用Lua编写Nginx服务器的认证模块的方法_Lua

 过去两天里,我解决了一个非常有趣的问题.我用一个nginx服务器作为代理,需要能够向其中添加一个认证层,使其能够使用外部的认证源(比如某个web应用)来进行验证,如果用户在外部认证源有账号,就可以在代理里认证通过.需求一览 我考虑了几种解决方案,罗列如下:     用一个简单的Python/Flask模块来做代理和验证.     一个使用subrequests做验证的nginx模块(nginx目前可以做到这一点)     使用Lua编写一个nginxren认证模块   很显然,给整个系统添加额

Nginx记录分析响应慢的请求及替换网站响应内容的配置_nginx

nginx记录分析网站响应慢的请求(ngx_http_log_request_speed)nginx模块ngx_http_log_request_speed可以用来找出网站哪些请求很慢,针对站点很多,文件以及请求很多想找出哪些请求比较慢的话,这个插件非常有效.作者的初衷是写给自己用的,用来找出站点中处理时间较长的请求, 这些请求是造成服务器高负载的很大根源. 日志记录之后,在使用perl脚本分析日志,即可知道哪些请求需要修正.1. 模块安装nginx第三方模块安装方法这里就一笔略过了. 配置参数

PHP连接Nginx服务器并解析Nginx日志的方法_php技巧

php与nginx整合 PHP-FPM也是一个第三方的FastCGI进程管理器,它是作为PHP的一个补丁来开发的,在安装的时候也需要和PHP源码一起编译,也就是说PHP-FPM被编译到PHP内核中,因此在处理性能方面更加优秀:同时它在处理高并发方面也比spawn-fcgi引擎好很多,因此,推荐Nginx+PHP/PHP-FPM这个组合对PHP进行解析. FastCGI 的主要优点是把动态语言和HTTP Server分离开来,所以Nginx与PHP/PHP-FPM经常被部署在不同的服务器上,以分担

Python中的日志模块logging

  这篇文章主要介绍了Python中的日志模块logging,包括Python下的日志级别以及模块内常用方法的使用,需要的朋友可以参考下 许多应用程序中都会有日志模块,用于记录系统在运行过程中的一些关键信息,以便于对系统的运行状况进行跟踪.在.NET平台中,有非常著名的第三方开源日志组件log4net,c++中,有人们熟悉的log4cpp,而在python中,我们不需要第三方的日志组件,因为它已经为我们提供了简单易用.且功能强大的日志模块:logging.logging模块支持将日志信息保存到不