use logrotate manage log file

logrotate一般用于管理日志文件, 例如 : 

[root@db-192-168-173-42 tmp]# ll /var/log/messages*

-rw------- 1 root root 599922 Jan  2 16:06 /var/log/messages

-rw------- 1 root root    138 Dec 27 19:20 /var/log/messages.1

-rw------- 1 root root     58 Dec 14 04:02 /var/log/messages.2

-rw------- 1 root root     58 Dec  7 04:02 /var/log/messages.3

-rw------- 1 root root    138 Dec  3 01:09 /var/log/messages.4

例如 : 

对需要管理的日志文件 /tmp/sky_pg_clusterd.log , 创建一个配置文件.

vi /etc/logrotate.d/sky_pg_cluster

/tmp/sky_pg_clusterd.log   

{   

         size 10M   

         create   

         start 10  

         rotate 4  

         compress   

         copytruncate   

}

根据以上配置, 如果文件超过10M, 将压缩存放, 并截断.

# logrotate /etc/logrotate.d/sky_pg_cluster 

# ll

total 1756

-rw-rw-r-- 1 postgres postgres  4755 Jan  2 17:10 sky_pg_clusterd.log

-rw-rw-r-- 1 postgres postgres 1082000 Jan  2 16:24 sky_pg_clusterd.log.10.gz

再次调用, 因为文件还小于10M, 所以不进行处理.

# logrotate /etc/logrotate.d/sky_pg_cluster 

[root@db-192-168-173-42 tmp]# ll

total 1772

-rw-rw-r-- 1 postgres postgres  708613 Jan  2 17:10 sky_pg_clusterd.log

-rw-rw-r-- 1 postgres postgres 1082000 Jan  2 16:24 sky_pg_clusterd.log.10.gz

一般可以搞成crontab自动处理.

*/5 * * * * /usr/sbin/logrotate /etc/logrotate.d/sky_pg_cluster

[参考]
1. man logrotate

2. http://www.linuxidc.com/Linux/2012-02/53940.htm

Syslog-ng服务只提供对log进行接收以及再处理(继续分发或者存储),但并不对产生的log文件进行管理,这样导致的后果就是可能这个文件越来越大,在我们这个项目中,由于忘了对日志文件进行管理,结果导致这个日志文件20多G,囧,很有可能导致系统崩溃。

日志文件管理这项工作其实是由logrotate模块来负责。

对于logrotate可以参考官网, 上面有详尽的介绍,最常用的三个方式为: 

logrotate /etc/logrotate.conf:重新读取配置文件,并对符合条件的文件文件进行rotate。 

logrotate -d /etc/logrotate.conf:调试模式,输出调试结果,但并不执行。 

logrotate -f /etc/logrotate.conf:强制模式,对所有相关文件进行rotate。

至于logrotate对文件进行管理时的所要执行的规则,可以在/etc/logrotate.d文件夹下创建文件,logrotate会在执行的时候自动读取相应的规则,比如,我在/etc/logrotate.d/路径下新建了一个名为syslog的文件,www.linuxidc.com其中的内容为:

/log/test.log   

{   

         size 10M   

         create   

         start 10  

         rotate 4  

         compress   

         copytruncate   

}  

上面代码的意思为当文件/log/test.log的大小超过10M时就开始循环,允许logrotate创建文件,循环文件的开始为10,即文件为为test.log.10.gz,最多循环创建4个文件,即为test.log.13.gz,多于四个后开始在第一个上面循环,依次迭代。

这样在配置logrotate的规则的时候就相对非常灵活,当我需求改动,需要添加其他新的规则的时候,我就不必修改syslog文件中的规则,可以新创建一个文件,添加相应的规则即可。这种灵活的配置方式对编程来说是一大便利,对于编程来说就是更容易实现对规则的自动控制了。

另外的一个问题,logrotate规则配置好后怎么定时去执行呢?这个就可以交给Linux中的crontab来控制了,具体的crontab的配置可以参考官网,我这里给出我使用的demo:

执行:vi /etc/crontab

配置如下:

*/5 * * * * root /sbin/logrotate /etc/logrotate.conf  

表示每隔5分钟执行检查一次。

这样整个配置就基本上完成了。

时间: 2024-07-30 13:21:56

use logrotate manage log file的相关文章

warning The transaction log file is corrupted.

Remark Even if appealing using compress option has a constraint when preparing the backup, as clearly stated by Percona: Before you can prepare the backup you'll need to uncompress all the files with qpress. The error message you get is : xtrabackup:

Statspack之十四-"log file sync" 等待事件

原文出处: http://www.eygle.com/statspack/statspack14-LogFileSync.htm 当一个用户提交(commits)或者回滚(rollback),session的redo信息需要写出到redo logfile中.用户进程将通知LGWR执行写出操作,LGWR完成任务以后会通知用户进程.这个等待事件就是指用户进程等待LGWR的写完成通知. 对于回滚操作,该事件记录从用户发出rollback命令到回滚完成的时间. 如果该等待过多,可能说明LGWR的写出效率

Linux/Unix shell 监控Oracle告警日志(monitor alter log file)

    使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担,如常见的对实例的监控,监听的监控,告警日志的监控,以及数据库的备份,AWR report的自动邮件等.本文给出Linux 下使用 shell 脚本来监控 Oracle 告警日志(monitor alter log file).     Linux Shell的相关参考:        Linux/Unix shell 脚本中调用SQL,RMAN脚本        Linux/Unix shell sql 之

log file sync 等侍值高的一般通用解决办法

log file sync等待时间发生在redo log从log buffer写入到log file期间. 下面对log file sync做个详细的解释. 何时发生日志写入: 1.commit或者rollback 2.每3秒 3.log buffer 1/3满或者已经有1M的redo数据.       更精确的解释:_LOG_IO_SIZE 大小默认是LOG_BUFFER的1/3,当log buffer中redo数据达到_LOG_IO_SIZE 大小时,发生日志写入. 4.DBWR写之前 _l

联机日志文件过小引发的log file 相关等待

      Oracle 联机重做日志文件记录了数据库的所有变化(DML,DDL或管理员对数据所作的结构性更改等),用于对于意外删除或宕机利用日志文件实现数据恢复来确保数据的完整性.但不合理的联机日志文件规划将引发日志相关的等待事件.下面是这样一个来自生产环境中的例子.   1.故障描述 --客户描述该数据库晚上用于实现数据同步以及汇总,以前一直工作的比较良好,随着需要同步的数量量的增大,最近变得越来越慢. --下面我们首先取了客户晚8点至第二天7点的awr report. WORKLOAD R

Mysql启动中 InnoDB: Error: log file ./ib_logfile0 is of different size 0 5242880 bytes 的问题_Mysql

如果你的配置文件使用了类似my-innodb-heavy-4G.cnf作为配置文件的话. Mysql可以正常启动,但innodb的表无法使用 在错误日志里你会看到如下输出: InnoDB: Error: log file ./ib_logfile0 is of different size 0 5242880 bytes 现在需要做的事情就是把原来的 innodb 的ib_logfile×备份到一个目录下,然后删除掉原来的文件,重启 mysql. 你会看到ib_logfile*大小变成了你配置文

Mysql主从库不同步1236错误:could not find first log file name in binary...

近日,遇到了Mysql主从库不同步问题,主要是因为电脑断了一下电,折腾啊. 从库日志中的错误:Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in binary log index file' 解决办法: 1. 首先停止从库同步: slave stop; 2. 主库中清空日志: flush logs; 3.

清理SQL Server 2008日志文件Cannot shrink log file 2 的解决方案_mssql2008

SQL 2008日志文件占了23G硬盘空间,而事务日志已经截断(Truncate),实际日志内容很小,1G都不到,想要释放日志文件霸占的多余空间. 但是,无论怎么收缩(Shrink)日志文件,空间就是不能释放,总是出现错误: Cannot shrink log file 2 (CNBlogsText_log) because of minimum log space required. 之前解决过类似的问题,也写过一篇博客-SQL Server 2008事务日志清理,当时采用的最终解决方法是:

ORACLE等待事件: log file parallel write

log file parallel write概念介绍 log file parallel write 事件是LGWR进程专属的等待事件,发生在LGWR将日志缓冲区(log_buffer)中的重做日志信息写入联机重做日志文件组的成员文件,LGWR在该事件上等待该写入过程的完成.该事件的等待表示重做日志所处的磁盘设备缓慢或存在争用.下面看看官方一些资料是如何解释log file parallel write等待事件的.   log file parallel write   Writing red