apache日志分析及系统cpu,内存,负载情况监控

1.根据Apache Log,获取当天秒并发数最多的记录

tail -10000 ./demo.fdipzone.com_access_log.2014-01-16_01 | cut -d"[" -f 2 | awk '{print $1;}' | sort | uniq -c | sort -nr | head

tail -10000 ./demo.fdipzone.com_access_log.2014-01-16_01 | awk -F"[" '{print $2;}' | awk '{print $1;}' | sort | uniq -c | sort -nr | head

运行结果:

fdipzone@ubuntu:~$ tail -100000 ./demo.fdipzone.com_access_log.2014-01-16_01 | cut -d"[" -f 2 | awk '{print $1;}' | sort | uniq -c | sort -nr | head
    109 16/Jan/2014:22:51:16
     95 16/Jan/2014:22:46:56
     87 16/Jan/2014:23:56:30
     87 16/Jan/2014:22:48:27
     80 16/Jan/2014:23:55:52
     79 16/Jan/2014:23:51:29
     74 16/Jan/2014:23:00:33
     72 16/Jan/2014:23:28:04
     72 16/Jan/2014:23:17:35
     70 16/Jan/2014:23:05:38

tail -10000 为access log 最大行数,此处请根据实际设置,如access log最大行数是500000 则使用tail -500000。

head 默认会显示头10行,如要修改则可以加 -n 参数,例如 head -n 100 会显示头100行内容

更多查询

每分钟最高访问数
awk '{print $4}' access_log |cut -c 14-18|sort|uniq -c|sort -nr|head  

每小时最高访问数
awk '{print $4}' access_log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 24  

指定某分钟的每秒访问数
grep '01/Nov/2013:15:59' access.log | cut -d"[" -f 2 | awk '{print $1;}' | sort | uniq -c | sort -nr | head -60

2.记录cpu与内存使用到Log

vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。

vmstat 共有两个参数,一个是每次采集的时间间隔,另一个是采集的次数。

vmstat 1 11 表示每次采集时间为1秒,共采集11次。因为vmstat第一次采集的记录是不正确的,所以如果要采集10次,请设置次数为11,这样才可以获取到10条有用的记录。

fdipzone@ubuntu:~$ vmstat 1 11
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 335240  52072 241320    0    0   689    42  234  460  4 13 80  3
 1  0      0 335860  52072 241320    0    0     0     0  352  528  2  2 97  0
 2  0      0 336364  52072 241320    0    0     0     0  564  692  4  3 94  0
 0  0      0 336992  52072 241320    0    0     0     0  316  483  1  2 97  0
 2  0      0 336432  52076 241476    0    0   156     0  332  554  2  6 91  2
 0  0      0 336928  52084 241480    0    0     0    84  349  494  1  3 96  0
 0  0      0 337564  52084 241476    0    0     0     0  263  437  0  2 98  0
 0  0      0 338068  52084 241476    0    0     0     0  299  456  1  2 97  0
 0  0      0 338696  52084 241476    0    0     0     0  321  473  1  3 96  0
 1  0      0 339200  52084 241476    0    0     0     0  271  461  0  2 98  0
 0  0      0 339828  52084 241476    0    0     0     0  255  429  1  2 96  0

vmstat 1 >> vmstat.log 每秒采集,写入vmstat.log

vmstat 输出的每个参数说明:

r 表示运行队列(就是说多少个进程真的分配到CPU),当这个值超过了CPU数目,就会出现CPU瓶颈了。这个也和top的负载有关系,一般负载超过了3就比较高,超过了5就高,超过了10就不正常了,服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大,表示你的CPU很繁忙,一般会造成CPU使用率很高。

b 表示阻塞的进程。

swpd 虚拟内存已使用的大小,如果大于0,表示你的机器物理内存不足了,如果不是程序内存泄露的原因,那么你该升级内存了或者把耗内存的任务迁移到其他机器。

free   空闲的物理内存的大小,我的测试机器内存总共1G,剩余330M。

buff   Linux/Unix系统是用来存储,目录里面有什么内容,权限等的缓存,我本机大概占用500多M

cache cache直接用来记忆我们打开的文件,给文件做缓冲,(这里是Linux/Unix的聪明之处,把空闲的物理内存的一部分拿来做文件和目录的缓存,是为了提高 程序执行的性能,当程序使用内存时,buffer/cached会很快地被使用。)

si  每秒从磁盘读入虚拟内存的大小,如果这个值大于0,表示物理内存不够用或者内存泄露了,要查找耗内存进程解决掉。

so  每秒虚拟内存写入磁盘的大小,如果这个值大于0,同上。

bi  块设备每秒接收的块数量,这里的块设备是指系统上所有的磁盘和其他块设备,默认块大小是1024byte。

bo 块设备每秒发送的块数量,例如我们读取文件,bo就要大于0。bi和bo一般都要接近0,不然就是IO过于频繁,需要调整。

in 每秒CPU的中断次数,包括时间中断

返回栏目页:http://www.bianceng.cnhttp://www.bianceng.cn/Servers/web/

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索内存
, sort
, ios 内存泄露
, head
, print
, 2014
CPU负载监控
监控系统 负载、日志监控系统、java log日志监控系统、日志监控分析系统、java日志实时监控系统,以便于您获取更多的相关知识。

时间: 2024-10-24 10:45:48

apache日志分析及系统cpu,内存,负载情况监控的相关文章

使用Python实现对Linux服务器CPU内存网络的监控脚本

本文介绍一下使用 Python 脚本实现对 Linux 服务器 CPU 内存 网络的监控脚本的编写.Python 是由 Guido van Rossum 开发的.可免费获得的.非常高级的解释型语言.其语法简单易懂,而其面向对象的语义功能强大(但又灵活).Python 可以广泛使用并具有高度的可移植性.本文 Linux 服务器是 Ubuntu 12.10, Python 版本 是 2.7 .如果是 Python 3.0 版本的语法上有一定的出入.另外这里笔者所说的 Python 是 CPython

PHP开源Apache日志分析工具收集与比较

我们知道已经有很多像Awtstat这样的使用perl.c或者c++开发的强大的日志分析工具,但是同样也有很多使用PHP开发并且开源的日志分析软件,今天我就收集了一些与大家分享. 1.LogAnalyzer LogAnalyzer是 Adiscon的监控软件产品线中的一部分.可以再Windows以及Unix环境下运行.LogAnalyzer本是是免费的,GPL许可的产品. LogAnalyzer的原名为phpLogCon,他在2010年的3月29日发布了3.0的稳定版,并且正式改名为LogAnal

Linux下apache日志分析与状态查看方法_Linux

假设apache日志格式为:118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] "GET /Public/Css/index.css HTTP/1.1″ 304 – "http://www.a.cn/common/index.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)" 问题1:在apachelog中找出访问次数最多的1

apache日志分析工具Apache Log Viewer使用教程

Apache Log Viewer是国外一款比较不错的日志分析软件,目前没有汉化版提供下载.分析界面如图: 你可以自定义查看分列信息,如Ip,地址,访问日期.访问页面.访问状态.来路地址.浏览标识(User Agent)如图:(打开步骤:Edit->Preferences->Columns) 自定义查看分列信息 日志分析工具查看到的是所有Apache访问活动,如果你想清晰看到如google机器人,百度蜘蛛等各种User-Agent访问统计可以使用Reports->User Agent.如

Apache日志分析工具Awstats的安装和配置

      这些天由于几个不同的流量统计工具在统计数据上出现了很大差异,当时就想到了应该分析一下apache的access log,那里的数据应该是最权威的.刚开始为了应急写了一个简单分析工具,统计了一下简单的数据.而开源的Awstats应该是当前应用比较广泛,功能比较完全的工具.       Awstats的安装和配置都是相当地简单,不过我还是走了一些弯路,其中最惨痛的教训就是:最好按照默认的方式进行配置.下面记录我安装和配置的过程.首先交待一下环境:64位的CentOS 5.6 + Apac

用MySQL慢日志分析解决MySQL CPU占用高的问题

首先找到MySQL的配置文件my.cnf,根据不同版本的mysql开启慢查询的配置也不一样 mysql 5.0 [mysqld] long_query_time = 1 log-slow-queries = /var/log/mysql/slow.log mysql 5.1 [mysqld] long_query_time = 1 slow_query_log=1 slow_query_log_file = /var/log/mysql/slow.log long_query_time 是指执行

[文档]基于Hadoop/Hive的web日志分析系统的设计

基于Hadoop/Hive的web日志分析系统的设计 刘永增,张晓景,李先毅 利用Hadoop.Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度.通过与单机实验的对比,证明系统是有效的和有价值的. 关键词:web日志:云计算:Hadoop:Hive [下载地址]http://bbs.chinacloud.cn/showtopic-12968.aspx

命令行下Apache日志统计举例

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://chenguang.blog.51cto.com/350944/1414820 Apache日志统计举例 加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep.sed.awk和sort等筛选工具帮助你解决这个问题.

监控apache日志的两个工具

监控apache日志的两个工具 apache日志分析工具webalizer      awstat 准备webalizer-2.23-05-src.tgz         awstats-7.0.tar.gz        Perl-5.16.3.1603.tar.gz 安装apache [root@lly ~]# mkdir /mnt/cdrom [root@lly ~]# mount /dev/cdrom  /mnt/cdrom挂载光驱 [root@lly ~]# cd /mnt/cdrom