linux日志处理的问题, 用管道还是直接读?

问题描述

我想写一个java的程序B来处理linux系统上的日志,程序A会间歇性向这个日志文件写东西.应该如何来完成这个任务呢?现在是A产生日志文件,服务器通过shell脚本将日志通过linux管道传送给B日志处理模块.tail-fa.log>javaB但这是不是最佳的方案呢?能让B直接读a.log吗?会产生文件互锁吗?

解决方案

解决方案二:
安装flume,直接通过flume实时收集日志到数据库,然后用JAVA去读。实时性+方便性=您的要求

时间: 2024-12-26 10:44:23

linux日志处理的问题, 用管道还是直接读?的相关文章

Linux下搭建Linux日志服务器图解

为什么架设LINUX日志服务器: 众所周知,Linux是一个日志系统完善的操作系统.系统管理员在运行维护服务器的时候,少不了查看日志文件,当服务器出现错误,排错的时候更是少不了查看系统日志.当管理员管理的网络中有多台Linux服务器的时候,并且服务器比较分散,管理跑到各个服务器上查看系统日志甚是麻烦.那么,我们可以构建一台日志服务器,所有的Linux系统产生的日志,都发送到日志服务器上.管理员只需要查看日志服务器中的日志文件即可. 配置环境:vmware虚拟机. 服务器IP地址:192.168.

Linux日志自动备份脚本(日志截断、压缩)

只需要将日志文件移动到备份目录下 然后将日志压缩打包,并删除日志文件 最后重建日志文件 #!/bin/bash # nginx_app=/usr/local/nginx/sbin/nginx logs_dir=/usr/local/nginx/logs bak_dir=/tmp/logbak/ date=`date +%Y%m%d` # #先将日志文件移动到备份目录 cd $logs_dir echo "moving logs" mv *.log $bak_dir sleep 3 #

Linux日志管理的5个常用命令

从Ext到Ext2,从Ext2再到Ext3,乃至以后的Ext4或者更高版本,Linux系统历来以强大.丰富和完整的日志系统著称.通过管理日志,可以清晰地了解系统的运行状况,也能从各种蛛丝马迹中发现入侵和快速地阻止入侵.本文是有关Linux系统全方位管理的第四部分,讲述Linux日志管理方面的事项.前面三个部分分别为:文件系统管理,Linux进程管理,以及用户管理. 日志主要的功能有:审计和监测.它还可以实时的监测系统状态,监测和追踪侵入者等等.成功地管理任何系统的关键之一,是要知道系统中正在发生

Linux 日志基础

首先,我们将描述有关 Linux 日志是什么,到哪儿去找它们,以及它们是如何创建的基础知识.如果你已经知道这些,请随意跳至下一节. Linux 系统日志 许多有价值的日志文件都是由 Linux 自动地为你创建的.你可以在 /var/log 目录中找到它们.下面是在一个典型的 Ubuntu 系统中这个目录的样子: 一些最为重要的 Linux 系统日志包括: /var/log/syslog 或 /var/log/messages 存储所有的全局系统活动数据,包括开机信息.基于 Debian 的系统如

Linux日志终极指南

Linux 日志分析 虽然提取的时候,不总是和你想的一样简单,但是日志中有大量信息在等着你.在这部分,我们会讲一些基本分析示例,你可以马上拿来处理你的日志(只是搜索里面有什么).我们还会讲一些高级分析方法,开始的时候可能要花时间来做配置,但会为以后省很多时间.你可以把高级分析的示例用在待解析的数据上,比如生成摘要计数,过滤字段值等. 首先我们会演示,你应该如何使用不同的工具在命令行进行日志分析;然后,演示一个日志管理工具,它能够让大多数乏味的工作变得自动化和高效. 使用 Grep 搜索 搜索文本

Linux日志文件总管——logrotate

Linux日志文件总管--logrotate 日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到.对于忙碌的服务器,日志文件大小会增长极快,服务器会很快消耗磁盘空间,这成了个问题.除此之外,处理一个单个的庞大日志文件也常常是件十分棘手的事. logrotate是个十分有用的工具,它可以自动对日志进行截断(或轮循).压缩以及删除旧的日志文件.例如,你可以设置logrotate,让/var/log/foo日志文件每30天轮循,并删除超过6个月的日志.配置完后,lo

log4j windows linux 日志分割问题

问题描述 log4j windows linux 日志分割问题 求大神:项目中遇到很大的一个问题.log4j DailyRollingFileAppender '.'yyyy-MM-dd-HH-mm, 每分钟分割为一个文件. 以前在windows上运行正常,现在怎么都不分割,无论过了多少分钟.但是,在我的MAC上,准确按分钟分割出来了.求解!急!!! 解决方案 log4j DailyRollingFileAppender 不支持多进程,是不是在多个进程中处理了 解决方案二: 不是多线程造成的.M

Linux日志

Linux系统日志 日志对于安全来说,非常重要,他记录了系统每天发生的各种各样的事情,你可以通过他来检查错误发生的原因,或者受到攻击时攻击者留下的痕迹.日志主要的功能有:审计和监测.他还可以实时的监测系统状态,监测和追踪侵入者等等. 在Linux系统中,有三个主要的日志子系统: 连接时间日志--由多个程序执行,把纪录写入到/var/log/wtmp和/var/run/utmp,login等程序更新wtmp和utmp文件,使系统管理员能够跟踪谁在何时登录到系统. 进程统计--由系统内核执行.当一个

Linux入门基础(九) 管道及重定向

不要重复发明轮子 开源文化的核心理念之一就是不要重复发明轮子,很多开源软件都是现有软件,代码和功能的重新组合,就好像通过零件装配机器一样,源代码的开放和共享让这成为了可能,同时也大大提高了效率和生产率. 管道和重定向 在Linux系统中,大多数命令都很简单,很少出现复杂功能的命令,每个命令往往只实现和一个或几个很简单的功能,我们可以通过将不同功能的命令组合在一起使用,以达到某个复杂功能的目的. 在Linux中,几乎所有命令返回数据都是纯文本的(与因为命令都是运行在CLI下),而纯文本形式的数据又