利用awstats分析nginx日志

今天打算分析下nginx日志，要分析nginx日志，我们可以通过shell脚本和第三方软件awstats进行分析，在此我们选择的是通过第三方软件awstats进行分析。

要使用awstats分析nginx日志，我们要安装awstats，而在安装awstats之前，我们需要先来介绍下awstats是什么？

一、awstats是什么

awstats是一个免费非常简洁而且强大有个性的基于Perl语言的WEB日志分析工具。

它可以统计网站的如下信息：

1）：访问量、访问次数、页面浏览量、点击数、数据流量等。

2）：精确到每月、每日、每小时的数据。

3）：访问者国家以及IP。

4）：Robots/Spiders的统计。

5）：访客持续时间。

6）：对不同files type的统计信息。

7）：Pages-URL的统计。

8）：访客操作系统浏览器等信息。

9）：其它信息（搜索关键字等等）

二、准备工作

在介绍完awstats是什么之后，我们再来介绍下安装awstats之前的准备工作。

2.1 安装GeoIP

GeoIP主要用于定位访问者所属的国家以及城市的数据库，可以使用如下命令进行安装：

yum -y install GeoIP GeoIP-devel perl-Geo-IP

查看GeoIP安装的相关组件，如下：

rpm -ql GeoIP-GeoLite-data

rpm -ql GeoIP-GeoLite-data-extra

如果是ubuntu系统，我们可以使用如下命令进行安装：

sudo apt-get -y install geoip-bin geoip-database-contrib php5-geoip python-geoip python-geoip-dbg libgeoip1 libgeoip-dev

在上述截图的安装的文件中，我们只需要关注GeoIP.dat和GeoLiteCity.dat这两个文件即可，其中GeoIP.dat用于定位访问者所属的国家，而GeoLiteCity.dat用于定位访问者所属的城市。

2.2 安装httpd-tools

一般站长都不愿随便让其他人知道自己网站的真实流量，所以要把awstats统计结果页面进行密码保护。

因为nginx使用的是跟apache一样的密码加密格式，所以这里需要用到apache自带的工具htpasswd，而htpasswd包含在httpd-tools组件中的，所以我们要安装httpd-tools。

安装httpd-tools，使用如下命令：

yum -y install httpd-tools

安装httpd-tools时，会自动安装httpd，所以我们需要把httpd禁用。如下：

/etc/init.d/httpd stop

chkconfig httpd off

生成密码文件，使用如下命令：

htpasswd -c -m /usr/local/htpasswd.pass ilanni

三、安装awstats

准备工作做完后，我们现在来安装awstats。

3.1 下载awstats

awstst官网是http://www.awstats.org/，下载最新版本de awstats。如下：

wget http://www.awstats.org/files/awstats-7.5.tar.gz

3.2 安装awstats

awstats下载完毕后，我们现在来安装awstats。解压安装包，并进行相关操作，如下：

tar -C /usr/local/ -xf awstats-7.5.tar.gz

mv /usr/local/awstats-7.5/ /usr/local/awstats

chown root:root -R /usr/local/awstats/

mkdir -p /var/www/awstats/

cd /usr/local/awstats/tools/

chmod +x /usr/local/awstats/tools/*.pl

chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

开始安装awstats，如下：

./awstats_configure.pl

因为在此我们使用的是nginx，所以以上截图填写none。

创建一个新的统计配置文件。

在这输入自己的网站域名，也可以进行自定义。

使用默认配置，生成配置文件。

安装程序执行结束后，会在/etc/awstats/目录下生成相应的配置文件。如下：

ll /etc/awstats/awstats.www.ilanni.com.conf

3.3 编辑配置文件

awstats安装完毕后，我们现在来修改其配置文件awstats.www.ilanni.com.conf。在该配置文件中，我们主要修改的是awstats分析nginx日志的路径，以及日志格式，当然还有其它的一些插件。如下：

vim /etc/awstats/awstats.www.ilanni.com.conf

LogFile=”/var/log/nginx/ilanni.com_%YYYY-24%MM-24%DD-24.log”

#配置显示国家和地区

LoadPlugin=”geoip GEOIP_STANDARD /usr/share/GeoIP/GeoIP.dat”

LoadPlugin=”geoip_city_maxmind GEOIP_STANDARD /usr/share/GeoIP/GeoLiteCity.dat”

#解决搜索关键字的乱码

LoadPlugin=”decodeutfkeys”

注意：LogFile路径中日志文件中的日期格式“%YYYY-24%MM-24%DD-24”，是指24小时之前的年月日，也就是昨天的日期。-24表示一天前的，-0表示当前。

3.4 安装纯真IP数据库插件

如果要详细显示国内访客的具体来源信息，我们可以使用纯真IP数据库插件。

纯真IP地址数据库下载地址：http://update.cz88.net/soft/setup.zip

在windows机器上下载安装后，安装目录下的qqwry.dat文件即是最新版IP地址数据库。

下载awstats纯真IP数据库解析插件，下载地址如下：

http://down.51cto.com/data/1888530

注意，附件qqhostinfo.pm、qqwry.pl里的文件路径已经修改好。

下载完毕后，把qqhostinfo.pm、qqwry.pl、qqwry.dat这三个文件，放到awstats的wwwroot/cgi-bin/plugins目录下，并且给予qqhostinfo.pm文件可执行权限。如下：

最后修改awstats的配置文件awstats.www.ilanni.com.conf添加LoadPlugin=”qqhostinfo”选项，如下：

到此awstats安装和配置已经全部完成。

四、配置nginx日志格式

awstats安装完毕后，我们要配置nginx日志的格式，因为awstats是按照指定的格式对nginx日志文件进行分析的，所以我们要进行对应的配置。

nginx日志的配置方法如下：

vim /etc/nginx/nginx.conf

log_format  site  ‘$remote_addr – $remote_user [$time_local] “$request” ‘

             ‘$status $body_bytes_sent “$http_referer” ‘

             ‘”$http_user_agent” $http_x_forwarded_for’;

五、awstats与nginx进行web集成

Nginx日志格式配置完毕后，我们现在要把awstats与nginx进行集成。

为什么awstats与nginx进行集成？因为awstats的访问是通过web方式进行的。这个集成也分为两种情况 ，一个是awstats单独以nginx虚拟主机的形式存在，一种是awstats与现有nginx虚拟主机进行集成。下面分别把这两种方式的nginx配置贴出来，如下：

awstats单独作为nginx的一个虚拟主机，配置文件：

server {

listen 80;

server_name www.ilanni.com;

root /var/www/awstats/;

index index.html;

#或者

#index  awstats.test.haiyn.com.html;

location ~ ^/cgi-bin/.*.(cgi|pl|py|rb) {

gzip off;

include         fastcgi_params;

fastcgi_pass  unix:/tmp/php-cgi.sock;

#       fastcgi_pass    127.0.0.1:9000;   #注意配置fastcgi_pass为你的php-fpm server.

fastcgi_index   cgi-bin.php;

fastcgi_param   SCRIPT_FILENAME /usr/local/awstats/wwwroot/cgi-bin/fcgi.php;  #注意文件路径

fastcgi_param   SCRIPT_NAME        /cgi-bin/fcgi.php;

fastcgi_param   X_SCRIPT_FILENAME /usr/local/awstats/wwwroot$fastcgi_script_name;  #注意文件路径

fastcgi_param   X_SCRIPT_NAME $fastcgi_script_name;

fastcgi_param   REMOTE_USER        $remote_user;

}

# Static awstats files: HTML files stored in DOCUMENT_ROOT/awstats/

location /classes/ {

alias /usr/local/awstats/wwwroot/classes/;

}

location /css/ {

alias /usr/local/awstats/wwwroot/css/;

}

location /js/ {

alias /usr/local/awstats/wwwroot/js/;

}

location /icon/ {

alias /usr/local/awstats/wwwroot/icon/;

}

}

awstats与现有nginx虚拟主机进行集成。

注意：一定要把awstats相关的配置存放到最前面，这是因为nginx的匹配规则是从上到下进行匹配的。

server {

listen 80;

server_name www.ilanni.com ilanni.com;

charset utf-8;

access_log /var/log/nginx/ilanni.com.log main;

location ~ ^/icon/ { #图标目录

root /usr/local/awstats/wwwroot;

index index.html;

access_log off;

charset gb2312;

}

location ~ ^/cgi-bin/.*.(cgi|pl|py|rb) {

root /usr/local/awstats/wwwroot;

gzip off;

include fastcgi_params;

fastcgi_pass 127.0.0.1:9000;

fastcgi_param X_SCRIPT_NAME $fastcgi_script_name;

fastcgi_param SCRIPT_FILENAME $document_root/cgi-bin/fcgi.php;

fastcgi_param X_SCRIPT_FILENAME $document_root$fastcgi_script_name;

#fastcgi_param REMOTE_USER $remote_user;

auth_basic “Restricted”;

auth_basic_user_file /usr/local/awstats/htpasswd.pass;

}

location / {

root /www/ilanni.com;

index index.php index.html index.htm;

}

location ~ \.php$ {

root /www/ilanni.com/;

fastcgi_pass 127.0.0.1:9000;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

}

}

六、生成awstats数据库

现在开始使用awstats分析日志，使用如下命令：

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.ilanni.com

生成静态文件，使用如下命令：

/usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.ilanni.com -lang=cn -dir=/var/www/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

为了看到每一天更新的数据，我们可以通过crontab在每天凌晨00:01定时更新静态页面。如下：

vim /etc/crontab

1 0 * * * /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.ilanni.com -lang=cn -dir=/var/www/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

七、访问awstats

awstats数据库生成完毕后，我们现在来通过web页面访问下。在此我使用的是第二种方式awstats与nginx进行集成。

如下：

http://www.ilanni.com/cgi-bin/awstats.pl

上输入的是我们在第二章准备工作中htpasswd生成的用户名和密码。

上图就是awstats对nginx日志文件分析后，所得到的相关信息。

上图是我们安装的GeoIP和纯真IP数据库显示的用户访问的国家、城市以及来源地址。

上图是awstats根据nginx日志文件分析出来用户是搜索哪些关键词过来的。

时间： 2024-09-18 10:50:51

利用awstats分析nginx日志的相关文章

linux中搭建awstats分析nginx日志

系统:centos 5.x   需要的软件包:awstats-7.3.tar.gz 1.修改nginx日志格式  代码如下 复制代码 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                   '$status $body_bytes_sent "$http_referer" '                   '"$http_u

nginx安装awstats分析Nginx日志

AWStats 是一个免费的强大的日志分析统计工具,所以安装来分析Nginx的日志,记录一下.  代码如下 复制代码   #下载awstats和修改好的配置文件 wget -c http://dl.dropboxusercontent.com/u/809946/soft/awstats-7.2.tar.gz wget -c http://dl.dropboxusercontent.com/u/809946/conf/awstats.imcat.in.conf tar -zxvf awstats-

使用AWstats分析Nginx访问日志

软件下载地址:http://awstats.sourceforge.net/ 我下载的是稳定版本awstats-6.95.tar.gz 先上传下载文件到服务器上我习惯放在/opt下面 一.解压软件包: tar zxvf  awstats-6.95.tar.gz 然后放到/usr/local/下面 mv awstats-6.95 /usr/local/awstats 二.接着执行 tools 目录中的 awstats_configure.pl 配置向导,创建一个新的统计 [root@www too

一天，python搞个分析NGINX日志的脚本

准备给ZABBIX用的. 统计接口访问字次,平均响应时间,4XX,5XX次数 以后可以再改进.. #!/usr/bin/env python # coding: utf-8 ################################### # User:chengang # # Email:aguncn@163.com # # Date:2016-02-25 # ################################### import time import datetime

linux中Shell分析Nginx日志 找出被阻止的IP

在日常运维中会发现流量突增现象或者服务器负载升高等现象,为找到原因,需要使用nginx limit模块 对访问的Ip进行限制,然后可以分析日志. 配置nginx限制IP访问,可配置多个zone. limit_req_zone $binary_remote_addr zone=allips:10m rate=20r/s; 对产生的nginx日志进行分析 脚本. ##提供默认日志路径和名称 logsFile="日志名称" ##配置多个zoneName zoneName="alli

Awk,Cat,Head分析Nginx日志常用命令

使用方法 awk '{pattern + action}' {filenames} 尽管操作可能会很复杂,但语法总是这样,其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令.花括号({})不需要在程序中始终出现,但它们用于根据特定的模式对一系列指令进行分组. pattern就是要表示的正则表达式,用斜杠括起来. awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作.完整的awk脚本

linux下Shell脚本分析Nginx日志抗小量ddos攻击

网站被ddos攻击,遂写了个脚本来抵抗一下,实现方式: 1. 攻击特征,不同ip不断POST网站首页,造成资源消耗过度 2. 分析nginx访问日志,判断POST特征取得客户端访问ip 3. 将连接数大于50的攻击ip封杀 4. 记录攻击ip到文档 5. 每次取得的攻击ip与已有攻击ip比较 查看源代码: #!/bin/bash   WEBSITES=(  example.com )   minute_now=`date +%M` max_connections=50 banips="/wwwd

Centos7安装配置ELK（Elasticsearch + Logstash + Kibana）分析Nginx日志简单单点配置

ELK的架构原理: logstash收集nginx日志,并对日志进行过滤拆分,并将处理后的结构化数据输出给elastcsearch,es对日志进行存储和索引构建,kibana提供图形界面及对es 查询api进行了封装,提供友好的查询和统计页面.在生产环境中,logstash作为agent安装部署在任何想要收集日志的主机上,为了缓解多个agent对ES的输出压力,需要定义一个broker(redis)对日志进行输入缓冲,然后定义一个logstash server对broker中的日志统一读取并输出

linux中如何使用awstats分析web日志

在httpd服务的访问日志文件access_log中,记录了大量的客户机访问信息,通过分析这些信息,可以及时了解WEB站点的访问情况. 对于有丰富经验的管理员来说,可以编写shell脚本对access_log文件中信息进行按需统计,更简单的做法是使用目前比较成熟的日志分析程序,完成自动化的日志分析与统计工作. 在此我们为你推荐一个开源的日志分析工具awstats. 下面是他的添加awstats日志分析页面的过程 1.解压并释放awstats软件包,执行目录中的awstats_configure.