nginx日志分割与mysql备份脚本

我们先来看mysql备份脚本

 代码如下 复制代码

mysql_back.sh

#!/bin/sh
#mysql数据库备份成sql文件并压缩
#并删除7天前创建的备份。

backupdir=/opt/cpfxs/mysqlbak
mysqlpath=/usr/local/mysql/bin/

time=` date +%Y%m%d `

$mysqlpath/mysqldump -h127.0.0.1 -uroot -pluobo mydb | gzip > $backupdir/mydb$time.sql.gz

#删除超过7天的备份
find $backupdir -name "mydb*.sql.gz" -type f -mtime +7 -exec rm {} ; > /dev/null 2>&1

上面步骤与方法超很简单的,下面日志分割

 代码如下 复制代码

cut_nginx_log_.sh

#!/bin/bash
#切割nginx日志文件，
#并以昨天的日期命名

logs_path="/var/www/log"

date=$(date -d "yesterday" +"%Y-%m-%d")

#重命名日志文件
mv ${logs_path}/access.log ${logs_path}/access_$date.log

#通知nginx 重新写日志文件
#如果没有这一步，nginx会继续往新的文件名里写内容
kill -USR1 `cat /var/nginx/nginx.pid`

上面只是简单的日志操作，下面我们来看一段更详细的nginx日志分割功能

一，日志的切割

shell脚本如下：

 代码如下 复制代码

#!/bin/bash

logs_path="/nginx/logs/"
mv  ${logs_path}access.log   ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").log
kill -USR1 `cat /nginx/logs/nginx.pid`

其中 "/nginx/logs" 指的是nginx的log日志文件所在目录，生成的日志文件是以昨天日期命名的。

为了达到每天自动分割的目的，在crontab中加入以下部分：

1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh
这样就每天的0点1分把nginx日志重命名为日期格式，并重新生成今天的新日志文件。

二，Awstats的配置

日志文件分割好了，接下来就是分析了，也就是工具软件Awstats的使用了。
Awstats的配置文件默认会存储在/etc/awstats/目录下，包括你安装时设置的域名如：awstats.www.xxxxke.com.conf。

在这个配置文件中修改这个地方：

 代码如下 复制代码
LogFile="/nginx/logs/access_%YYYY-24%MM-24%DD-24.log"

这个意思是要去读取nginx昨天的日志文件，关于后边%YYYY-24%MM-24%DD-24的设置，规则如下：

# You can also use tags in this filename if you need a dynamic file name
# depending on date or time (Replacement is made by AWStats at the beginning
# of its execution). This is available tags :
#   %YYYY-n  is replaced with 4 digits year we were n hours ago
#   %YY-n    is replaced with 2 digits year we were n hours ago
#   %MM-n    is replaced with 2 digits month we were n hours ago
#   %MO-n    is replaced with 3 letters month we were n hours ago
#   %DD-n    is replaced with day we were n hours ago
#   %HH-n    is replaced with hour we were n hours ago
#   %NS-n    is replaced with number of seconds at 00:00 since 1970
#   %WM-n    is replaced with the week number in month (1-5)
#   %Wm-n    is replaced with the week number in month (0-4)
#   %WY-n    is replaced with the week number in year (01-52)
#   %Wy-n    is replaced with the week number in year (00-51)
#   %DW-n    is replaced with the day number in week (1-7, 1=sunday)
#                              use n=24 if you need (1-7, 1=monday)
#   %Dw-n    is replaced with the day number in week (0-6, 0=sunday)
#                              use n=24 if you need (0-6, 0=monday)
#   Use 0 for n if you need current year, month, day, hour

三，开始分析、生成结果

最后，可以执行分析了。

使用这个命令：

 代码如下 复制代码
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.111cn.net

这个命令会把结果生成到/var/lib/awstats 目录下 awstatsXXXX.www.XXXX.com.txt文件。

当然这样看起来不太方便，可以再用下面的命令来生成html页面，更加直观。

 代码如下 复制代码

perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update
 -config=www.xxxxoke.com -lang=cn
-dir=/html/awstats
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

这样就会在/html/awstats目录下生成很直观的分析结果页。

四,自动化

要是每天都去服务器上运行几条命令肯定是件令人烦燥的事情，幸亏Linux的世界里有crontab，

下面是从网友那找的 crontab

 代码如下 复制代码

1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh

0 1 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com

0 2 * * * perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

 

LogFile="/usr/local/nginx/logs/%YYYY-24/%MM-24/expotia2.access_%YYYY-24%MM-24%DD-24.log"

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
时间： 2025-01-29 07:09:32

nginx日志分割与mysql备份脚本的相关文章

mysql备份脚本

mysql|备份|脚本 操作系统:windows2000 professional 数据库:mysql server4.0.18 首先创建一个批处理文件,在这里名为dbBackup.bat 然后在文件中添加如下内容: rem 判断mysql服务是否启动,然后将查询结果输出到server.log文件里netstat -na | (find "0.0.0.0:3306" & find "LISTENING")>server.logrem 手工建立一个空的文

shell版Nginx日志蜘蛛爬取查看脚本_linux shell

shell版Nginx日志蜘蛛爬取查看脚本 用之前改一下nginx日志的路径即可 如果 更多的蜘蛛 自己在 代码蜘蛛UA数组里加即可 #!/bin/bash m="$(date +%m)" case $m in "01") m='Jan';; "02") m='Feb';; "03") m='Mar';; "04") m='Apr';; "05") m='May';; "06&

Linux系统下nginx日志每天定时切割的脚本写法_nginx

使用Linux系统自带的命令logrotate对Nginx日志进行切割. Nginx安装目录:/usr/local/nginx/ Nginx日志目录:/usr/local/nginx/logs/./usr/local/nginx/logs/nginx_logs/ 1.添加nginx日志切割脚本 cd /etc/logrotate.d #进入目录 vi /etc/logrotate.d/nginx #编辑脚本 /usr/local/nginx/logs/*.log /usr/local/nginx

Nginx日志分割切割脚本分享

先直接放日志分割切割脚本  代码如下 复制代码 #!/bin/bash #set the path to nginx log files log_files_path="/home/wwwlogs/" log_files_dir=${log_files_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m") #set nginx log

基于Innobackupex的MySQL备份脚本

    Innobackupex是Xtrabackup的一部分,其实质也是调用xtrabackup.主要的不同是Xtrabackup除了支持innodb引擎外还支持xtradb引擎.本文主要封装了Innobackupex到shell脚本进行定期备份,供大家参考.   1.脚本描述a.支持增量备份以及全备b.需要传递到备份脚本(如备份路径,连接相关参数等)c.基于周日,周三的全量备份,其他增量备份d.可根据需要调整脚本,比如压缩备份的文件夹以及rsync等   2.脚本内容 ###########

nginx日志分割 for linux_nginx

使用方法,先将以下脚本保存为 cutlog.sh,放在/root 目录下,然后给予此脚本执行的权限 复制代码 代码如下: chmod +x cutlog.sh 然后使用crontab -e 将此脚本加入到计划任务中, 复制代码 代码如下: 00 00 * * * /bin/bash /root/cutlog.sh 让此脚本每天凌晨0点0分执行. 复制代码 代码如下: #!/bin/bash#function:cut nginx log files shell#设置您的网站访问日志保存的目录,我的

简单的nginx日志分割shell脚本

nginx的日志access.log没有分割,访问的记录一直都记录在此文件中,长期下去对于日志查询和文件系统都不好,所以需要进行分割. vim /data/scripts/cut_nginx_log.sh   #!/bin/bash # auto-run this script at 00:00 LOGS_PATH=/data/app/nginx/logs YESTERDAY=$(date -d "yesterday" +%Y-%m-%d) mv ${LOGS_PATH}/access

mysql备份脚本以及删除前5天的备份文件_Mysql

复制代码 代码如下: USER=root #数据库用户名 PASSWORD=cucrzmysql #数据库用户密码 #DATABASE=idssr #数据库名称 for DATABASE in `ls /mysql/data/mysql/ | grep idss` #数据库名称 do #WEBMASTER=849699940@qq.com #管理员邮箱地址,用以发送备份失败消息提醒 BACKUP_DIR=/mysql_bak #备份文件存储路径 LOGFILE=/mysql_bak/data_b

MySQL备份脚本shell

Java代码   #!/bin/bash   date=`date +%Y%m%d`   backDb=$date.sql   backFile=$date.tar.gz   backHost=135.26.25.36 #FTP服务器IP地址   backUser=ftp                #FTP服务器用户名   backPwd= password       #FTP密码      /usr/local/mysql/bin/mysqldump dbname -udbuser -p