[转载]goaccess-nginx日志分析工具简介

 

 

[转载]:http://www.cnphp.info/goaccess-nginx-log-stat-tool-intro.html

 

 

作者: freemouse 日期 2011年11月1日 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明

网址: http://www.cnphp.info/goaccess-nginx-log-stat-tool-intro.html

 

 

 

提到web服务器就不得不说nginx。这款由俄罗斯人开发的小巧的web服务软件近几年来风靡大江南北;成为许多草根站长建设网站的首选。但由于历史原因,nginx在日志分析工具相较于传统的apache、lighthttp等要匮乏的多。

笔者今天在这里为各位介绍一个牛X的实时日志分析工具GoAccess。不仅安装简单,功能强大,并且支持nginx日志格式。实在是草根站长们手中又一犀利武器,不可不备^_^。

 

目前主流的日志分析工具多采用html格式呈现给网站管理者或用户。这样的做法无可厚非;既然开通了网站,通过浏览器查看访客详情也符合逻辑。但,这类工具的缺点也十分明显,实时性较差。为了提高服务器效能,管理员多会按时归档日志统计信息。这样一来,很多故障信息都无法实时分析。如果管理员登录了文字界面的linux,查看起来就更方便了。

特色简介

使用GoAccess就不会有这样的困扰啦。各位可以把它作为传统日志分析工具很好的补充。在X windows或text mode下实时查看访客详情,显示界面很友好;GoAccess表示毫无压力^_^。

目前,我们可以通过这款软件查看的统计信息有:

  • 统计概况,流量消耗等
  • 访客排名
  • 动态Web请求
  •  静态web请求,如图片、样式表、脚本等。
  •  来路域名
  • 404 错误
  • 操作系统
  •  浏览器和搜索引擎
  • 主机、DNS和IP地址
  •  HTTP 响应代码
  •  引荐网站
  •  键盘布局
  • 自定义显示
  •  支持超大日志(分析速度很快)

支持的日志格式

目前,这款软件支持Common Log Format (CLF) 和 Combined Log Format(XLF/ELF) 格式的日志。分析传统的apache格式日志当然毫无问题。同时,只要将nginx的日志格式定义为apache格式,对它的分析也不在话下(目前,redhat提供的nginx软件包默认日志格式和apache基本一致)。

GoAccess安装注意事项

使用Debian或Ubuntu的同学可以直接通过apt-get来下载安装软件。自动解决软件的依赖问题。Redhat或CentOS用户可以有现成rpm包下载安装;但需要手动解决软件依赖。

 

下面笔者着重介绍下在类Redhat系统下如何编译安装GoAccess:

需要用到的几个库文件有:

  1. glib2
  2. GeoIP
  3. ncurses

 

这些都时常用的库文件,直接yum安装就能搞定:

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

yum install glib2 glib2-devel GeoIP-devel  ncurses-devel

 

#从官方下载最新的tarball

#author freemouse

#source http://www.cnphp.info/goaccess-nginx-log-stat-tool-intro.html

 

wget http://sourceforge.net/projects/goaccess/files/0.4.2/goaccess-0.4.2.tar.gz/download

 

tar zxvf goaccess-0.4.2.tar.gz

 

cd goaccess-0.4.2

 

#启动ip归属地查询、和utf8编码格式支持

 

./configure –enalbe-geoip –enable-utf8

 

make && make install

如果你使用的服务器版本不在以上四个之列,可以去官网的Download页面查看相应的安装方式,目前支持的还有git、FreeBSD等。

用法介绍

GoAccess的基本语法如下:

goaccess [ -b ][ -s ][ -e IP_ADDRESS][ - a ] <-f log_file >

参数说明:

  •  -f – 日志文件名
  •  -b – 开启流量统计,如果希望加快分析速度不建议使用该参数
  •  -s – 开启HTTP响应代码统计
  •   -a – 开启用户代理统计
  •  -e – 开启指定IP地址统计,默认禁用

 

用法示例:

最简单、常用的命令就是直接调用goaccess命令啦,不带任何影响效率的其他参数

goaccess –f access.log

 

如果需要查看其他信息,我们加入如下参数以显示HTTP响应代码、用户代理、流量消耗

goaccess –f access.log –s –a –b

 

如果你觉得这样还不能满足你的需求。别急,goaccess支持linux管道(Pipe),我们可以将日志文件预处理后,再交给goaccess去分析。

 

zcat access.log.1.gz | goaccess

让goaccess去分析已经打包压缩好的日志文件。

 

或者干脆分析目前下所有日志

zcat access.log* | goaccess

 

如果需要分析某天的日志,例如10月5号那天的日志,我们让linux管道命令来大显身手^_^。

sed -n ‘/05\/Dec\/2010/,$ p’ access.log | goaccess -s –b

 

分析从11月5号到12月5号一个月内的日志

sed -n ‘/5\/Nov\/2010/,/5\/Dec\/2010/ p’ access.log | goaccess -s –b

 

当你不希望在服务器上安装goaccess程序,可以通过调用本地的goaccess程序来分析服务器上的日志(很神奇吧^_^):

ssh user@server ‘cat /var/log/apache2/access.log’ | goaccess -s -a -b

GoAccess日志分析的速度

大部分服务器对日志分析的速度都比较敏感,如果在分析日志时造成服务器其他服务的不稳定,那还不如不用呢。据GoAccess官方的说法:使用AMD Sempron 2.31GHz的CPU+2GB内存,开启GoAccess所有功能,该软件每秒可以处理10万行日志。当然,如果使用的CPU更强劲,拥有更多的内存,GoAccess的表现会更加出色。

 

时间: 2024-11-03 17:23:25

[转载]goaccess-nginx日志分析工具简介的相关文章

[喵咪Liunx(6)]Nginx日志分析工具goaccess

[喵咪Liunx(6)]Nginx日志分析工具goaccess w-blog博客 前言 哈喽大家好呀!真是好久不见了,说来有些惭愧,离上一次发布博客已经是2016年的事情了,在这段时间中工作也比较忙,需要学习的东西也比较多,趁着过年前后有一些时间可以来好好分享分享一些有意思的东西,今天给大家带来的是Nginx日志分析工具goaccess,goaccess可以对Nginx的LOG文件进行分析,对请求量,用户数量等进行可视化展示,好那么久进入我们今天的正题吧! 附上: 喵了个咪的博客:w-blog.

postfix日志分析工具简介

1 下载 http://jimsun.linxnet.com/postfix_contrib.html 2 安装 Date::Calc #perl -MCPAN -e shell cpan> install Date::Calc 2 安装pflogsumm tar zxvf pflogsumm-1.1.2.tar.gz cd pflogsumm-1.1.2 cp pflogsumm.pl /usr/local/bin/pflogsumm chown bin:bin /usr/local/bin/

神器!最佳 Nginx 日志分析工具 GoAccess_nginx

使用方法有两种,可以用 XShell 或 Putty 上去命令查看,也可以生成 html 报告. 下面介绍GoAccess 在 CentOS 上的安装方法: 1. 需要安装 GeoIP, ncurses, glib2, 一句搞定 复制代码 代码如下: #yum -y install glib2 glib2-devel ncurses ncurses-devel GeoIP GeoIP-devel 2. 下载 GoAccess 解压编译安装 复制代码 代码如下: # wget http://dow

GoAccess:nginx日志分析利器

面试的时候一定会被面到的问题是:给出web服务器的访问日志,请写一个脚本来统计访问前10的IP有哪些?访问前10的请求有哪些?当你领略过goaccess之后,你就明白,这些问题,除了考验你的脚本背诵记忆能力以外,唯一的作用只有装A或者装C了. 对于nginx日志分析,有很多工具,衡量好坏的标准大概就是三快:安装快,解析快,上手快.满足这三点的goaccess确实是居家必备良药. 话说这个标题其实有点委屈GoAccess了,它是一个日志分析工具,并不只是为nginx使用的.你也可以用它来分析apa

nginx日志分析利器GoAccess

面试的时候一定会被面到的问题是:给出web服务器的访问日志,请写一个脚本来统计访问前10的IP有哪些?访问前10的请求有哪些?当你领略过goaccess之后,你就明白,这些问题,除了考验你的脚本背诵记忆能力以外,唯一的作用只有装A或者装C了. 对于nginx日志分析,有很多工具,衡量好坏的标准大概就是三快:安装快,解析快,上手快.满足这三点的goaccess确实是居家必备良药. 话说这个标题其实有点委屈GoAccess了,它是一个日志分析工具,并不只是为nginx使用的.你也可以用它来分析apa

linux中nginx日志分析利器GoAccess使用方法

面试的时候一定会被面到的问题是:给出web服务器的访问日志,请写一个脚本来统计访问前10的IP有哪些?访问前10的请求有哪些?当你领略过goaccess之后,你就明白,这些问题,除了考验你的脚本背诵记忆能力以外,唯一的作用只有装A或者装C了. 对于nginx日志分析,有很多工具,衡量好坏的标准大概就是三快:安装快,解析快,上手快.满足这三点的goaccess确实是居家必备良药. 话说这个标题其实有点委屈GoAccess了,它是一个日志分析工具,并不只是为nginx使用的.你也可以用它来分析apa

AWStats简介:Apache/IIS的日志分析工具_网站应用

你完全不必耐心看完所有内容:简要安装说明如下安装http://sourceforge.net/projects/awstats/ 下载安装包后:GNU/Linux:tar zxf awstats-version.tgzawstats的脚本和静态文件缺省都在wwwroot目录下:将cgi-bin目录下的文件都部署到 cgi-bin/目录下:/home/apache/cgi-bin/awstats/ mv awstats-version/cgi-bin /path/to/apache/cgi-bin

GoAccess 0.5发布 Web日志分析工具

GoAccess 是一款实时的Web日志分析工具,以及用于每一个http://www.aliyun.com/zixun/aggregation/17117.html">Web服务器的交互式查看器.它运行于一个终端,为系统管理员提供了快速和有价值的HTTP统计,包括日志监测和可视化报告.GoAccess可以监测独立的访问者.浏览器.网页爬虫.操作系统.主机和IP地理定位.关键字句.链接站点.状态码等.它支持IPv6和能够解析几乎任何的Web日志格式. GoAccess 0.5该版本增加了自定

日志分析工具Awstats的多站点日志分析

前面两篇都在讲述如何去部署nginx下的awstats日志分析工具,现在终于轮到apache.作为老牌的网页服务器,awstats对apache的支持非常完美,所以整个配置过程也是十分简单.因此,在这里我就拓展了一下部署,实现了对多站点的日志分析功能. 注意:自本篇博文发表之日,apache-2.4.x还是无法支持部署awstats日志分析结果访问动态化,不过可以用前篇日志分析工具Awstats实战之Nginx篇-分析结果静态化中讲到的方法来实施部署awstats.因此,本篇博文将用apache