日志服务器设计

日志服务器设计(草稿)

 

我的想方式实现一个Log服务器,然后把所有日志推向这个服务器。

 

同时兼容现有的

 

  1. rsyslog
  2. log4J, log4cpp...

可以通过TCP/UDP/和管道,向日志服务器抛日志。

日志服务器,采用多线程处理,然后放入列队。另一个进程从列队取日志,然后进行过滤,通过特征库匹配。

例如: 放行,抛弃,报警(通过email和手机短信)

放行数据将通过存储引擎,进行日志保存,可以进入数据库,文件。如果是文件通过gzip管道流,在做日志切割。

客户端

客户端是一个控制台可以实时看到列队中的最新信息,并滚动显示。与tail -f 原理类似,同时可以通过正则筛选数据。

还可以生成报表。等等。。

请看下图,先写到这里。

时间: 2024-09-11 22:09:30

日志服务器设计的相关文章

云巢科技之协议日志服务器浅谈

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 维基百科给云计算下的定义是:云计算将IT相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术.没有相关知识以及设备操作能力的情况下,通过Internet获取需要的服务.云计算包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施,而数据中心的软硬件设施就是云. 云计算是一种新兴的网络架构,而网络通信的基础为协议,随着云巢科技在

MongoDB 做日志服务器

MongoDB 做日志服务器.   写日志最常用的方式是写入纯文本文件,然后安日期分割文件,压错旧文件.   这样的日志与对懂shell,perl语言的人分析起来非常方便,对于程序员来说还是更喜欢写入数据库服务器,然后通过sql语句查询. 对于程序员来说sql语句提供了丰富查询功能,相比文本文件分析更容易.   下面就是一个简单日志表, 尽量做到通用所以只有message.           Sql代码   CREATE TABLE `logging` (       `id` INT(10)

Linux下架构日志服务器

一:原理: 日志对于系统的安全来说非常重要,它记录了系统每天发生的各种各样的事情,用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹.日志主要的功能是审计和监测.它还可以实时地监测系统状态,监测和追踪侵入者.日志也是用户应该注意的地方之一. 不要低估日志文件对网络安全的重要作用,因为日志文件能够详细记录系统每天发生的各种各样的事件.用户可以通过日志文件检查错误产生的原因,或者在受到攻击和黑客入侵时追踪攻击者的踪迹.日志的两个比较重要的作用是:审核和监测.配置好的Linux的日

Linux下搭建Linux日志服务器图解

为什么架设LINUX日志服务器: 众所周知,Linux是一个日志系统完善的操作系统.系统管理员在运行维护服务器的时候,少不了查看日志文件,当服务器出现错误,排错的时候更是少不了查看系统日志.当管理员管理的网络中有多台Linux服务器的时候,并且服务器比较分散,管理跑到各个服务器上查看系统日志甚是麻烦.那么,我们可以构建一台日志服务器,所有的Linux系统产生的日志,都发送到日志服务器上.管理员只需要查看日志服务器中的日志文件即可. 配置环境:vmware虚拟机. 服务器IP地址:192.168.

在Windows环境下搭建Linux系统的日志服务器

为什么架设LINUX日志服务器: 众所周知,Linux是一个日志系统完善的操作系统.系统管理员在运行维护服务器的时候,少不了查看日志文件,当服务器出现错误,排错的时候更是少不了查看系统日志.当管理员管理的网络中有多台Linux服务器的时候,并且服务器比较分散,管理跑到各个服务器上查看系统日志甚是麻烦.那么,我们可以构建一台日志服务器,所有的Linux系统产生的日志,都发送到日志服务器上.管理员只需要查看日志服务器中的日志文件即可. 配置环境:vmware虚拟机 要求:日志服务器采用Windows

如何在Centos 6.3下利用rsyslog+loganalyzer+mysql部署日志服务器

作为一名系统运维工程师,平时查看分析LINUX系统日志我觉得是我们每天必做的功课,但时间长了会发现每次查看站点日志都得挨个进后台,几台服务器还可以这么对付,但如果管理成百上千台线上服务器,这种方法就捉襟见肘了. 后来想了想能不能有一台日志服务器集中管理日志,并以WEB形式将日志显示到前台方便查看,顿时码字的想法油然而生,呵呵. 本人有一个习惯,那就是会把群里或者网上看到的圈内比较认可的LINUX系统软件先保存在备忘录,等闲下来研究研究,刚好前段时间有位朋友提到rsyslog+loganalyze

Centos 6.0之rsyslog部署日志服务器

本文Centos6.0 日志服务器,可以方便统一查看服务器上的日志,并且写入数据库,进行web显示,方便查看:也起到了一定的安全的作用,当黑客离开clear history的时候,我们这边也是可以看到的:废话少说了,直接正题 Client1: 192.168.244.154 Client2: 略:一样的配置 logserver:192.168.244.132 LogAnalyzer是一个syslog和其他网络事件数据的Web前端工具,提供简单易用的日志浏览.搜索和基本分析以及图表显示.采用php

MSSQL · 应用案例 · 日志表设计优化与实现

摘要 这篇文章从日志表问题引入.日志表的共有特性.日志表的设计需求.设计思路以及设计详细实现的角度,阐述了在SQL Server数据库中如何最优化设计日志表来降低系统资源的占用和提高系统吞吐量. 问题引入 在平时与客户服务与交流过程中,我们不止一次的被客人问及这样的场景:我们现在面临如何设计SQL Server日志表方案,如何最优化设计数据库日志记录表.因为,日志表设计会面对如下问题: 表记录数大:日志表由于记录了应用程序的很多操作日志,有的业务有很多步骤,甚至每个步骤操作都会被记录到日志表中

Ubuntu 16.04下部署Graylog日志服务器

Graylog 是一个开源的日志管理系统,集中式收集.索引.分析其它服务器发来的日志.它是由 Java 语言编写的,能够接收 TCP.UDP.AMQP 协议发送的日志信息,并且使用 Mongodb 做为后台数据库.它还有一个使用 Ruby 编写的 Web 管理接口,可以轻松管理 Graylog 和查询日志. Graylog 可以收集监控多种不同应用的日志.本文只是会为了示范说明,会把用到的组件全部安装到一个单独的服务器上.对于大型.生产系统你可以把组件分开安装在不同的服务器上,这样可以提高效率.