《ELK Stack权威指南(第2版)》一 3.3 Postfix日志

3.3 Postfix日志

Postfix是Linux平台上最常用的邮件服务器软件。邮件服务的运维复杂度一向较高,在此提供一个针对Postfix日志的解析处理方案。方案出自:https://github.com/whyscream/postfix-grok-patterns。

因为Postfix默认通过syslog方式输出日志,所以可以选择通过rsyslog直接转发给Logstash,也可以由Logstash读取rsyslog记录的文件。

Postfix会根据实际日志的不同,主动设置好不同的syslogtag,有anvil、bounce、cleanup、dnsblog、local、master、pickup、pipe、postdrop、postscreen、qmgr、scache、sendmail、smtp、lmtp、smtpd、tlsmgr、tlsproxy、trivial-rewrite和discard等20个不同的后缀,而在Logstash中,syslogtag通常被解析为program字段。本节以第一种anvil日志的处理配置作为示例:

时间: 2024-11-10 23:48:25

《ELK Stack权威指南(第2版)》一 3.3 Postfix日志的相关文章

《ELK Stack权威指南(第2版)》一导读

Preface前 言 <ELK Stack权威指南>第1版面世之后的这一年多时间里,ELK Stack在Elastic.co公司以及社区的共同努力下飞速发展.国内外都出现了不少基于ELK Stack实现的日志分析产品和创业公司.ELK Stack已经成为DevOps技术栈中必不可缺少的一个部分,较大型的互联网公司甚至已经配备有专职的ELK Stack管理团队. 对于并不精通ELK Stack技术及其发展历史的人来说,过去复杂的版本对应是新手的第一道门槛.最近全新更新的ELK Stack各组件,

《ELK Stack权威指南 》第2章 插件配置

本节书摘来自华章出版社<ELK Stack权威指南 >一书中的第1章,第2节,作者饶琛琳,更多章节内容可以访问"华章计算机"公众号查看. 插 件 配 置 插件是Logstash最大的特色.各种不同的插件源源不断地被创造出来,发布到社区中供大家使用.本章会按照插件的类别,对一般场景下的一些常用插件做详细的配置和用例介绍.本章介绍的插件包括:1)输入插件.基于shipper端场景,主要介绍STDIN.TCP.File等插件.2)编解码插件.编解码通常是会被遗忘的环节,但是运用好

《ELK Stack权威指南 》第3章 场景示例

本节书摘来自华章出版社<ELK Stack权威指南 >一书中的第1章,第3节,作者饶琛琳,更多章节内容可以访问"华章计算机"公众号查看. 场 景 示 例 前面虽然介绍了几十个Logstash插件的常见配置项,但是过多的选择下,如何组合使用这些插件,依然是一部分用户的难题.本章将列举一些最常见的日志场景,演示针对性的组件搭配,希望能给读者带来启发. 本章介绍的场景包括:Nginx访问日志.Nginx错误日志.Postfix日志.Ossec日志.Windows系统日志.Java

《ELK Stack权威指南(第2版)》一3.1 Nginx访问日志

第3章 场 景 示 例 前面虽然介绍了几十个Logstash插件的常见配置项,但是过多的选择下,如何组合使用这些插件,依然是一部分用户的难题.本章将列举一些最常见的日志场景,演示针对性的组件搭配,希望能给读者带来启发. 本章介绍的场景包括:Nginx访问日志.Nginx错误日志.Postfix日志.Ossec日志.Windows系统日志.Java日志.MySQL慢查询日志.Docker容器日志. 3.1 Nginx访问日志 访问日志处理分析绝对是使用ELK stack时最常见的需求.默认的处理方

《ELK Stack权威指南(第2版)》一第一部分 Part 1

第一部分 Part 1 Logstash 第1章 入门示例 第2章 插件配置 第3章 场景示例 第4章 性能与监控 第5章 扩展方案 第6章 Logstash源码解析 第7章 插件开发 第8章 Beats     Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching)

《ELK Stack权威指南(第2版)》一2.3 过滤器配置

2.3 过滤器配置 有丰富的过滤器插件,是Logstash威力如此强大的重要因素.名为过滤器,其实提供的不单单是过滤的功能.下面我们就会重点介绍几个插件,它们扩展了进入过滤器的原始数据,进行复杂的逻辑处理,甚至可以无中生有地添加新的Logstash事件到后续的流程中去! 2.3.1 date时间处理 之前章节已经提过,logstash-filter-date插件可以用来转换你的日志记录中的时间字符串,变成LogStash::Timestamp对象,然后转存到@timestamp字段里. 因为在稍

《ELK Stack权威指南(第2版)》一1.1 下载安装

第1章 入 门 示 例 什么是Logstash?为什么要用Logstash?怎么用Logstash?这是本章将要介绍的内容.本章从最基础的知识着手,从以下几步介绍Logstash的必备知识.1)下载安装.介绍Logstash软件的多种安装部署方式,并给出推荐的方式.2)初次运行.通过Hello World示例,演示Logstash最简单的运用,解释其逻辑上的基础原理.3)配置语法.介绍Logstash的DSL设计,Logstash命令的运行参数.4)插件安装.灵活和丰富的插件是Logstash最

《ELK Stack权威指南(第2版)》一 3.4 Ossec日志

3.4 Ossec日志 Ossec是一款开源的多平台入侵检测系统.将Ossec的监测报警信息转发到ELK中,无疑可以极大地帮助我们快速可视化安全事件.本节介绍Ossec与Logstash的结合方式. 3.4.1 配置所有Ossec agent采用syslog输出 配置步骤如下: 3.4.3 推荐Kibana仪表盘 社区已经有人根据Ossec的常见需求制作了仪表盘,可以直接从Kibana 3页面加载使用,示例如图3-1所示. 仪表盘的JSON文件见:https://github.com/magen

《ELK Stack权威指南(第2版)》一1.3 配置语法

1.3 配置语法 Logstash社区通常习惯用Shipper.Broker和Indexer来描述数据流中不同进程各自的角色,如图1-2所示. 不过我见过很多运用场景里都没有用Logstash作为Shipper,或者说没有用Elasticsearch作为数据存储,也就是说也没有Indexer.所以,我们其实不需要这些概念.只需要学好怎么使用和配置Logstash进程,然后把它运用到你的日志管理架构中最合适它的位置就够了. 1.3.1 语法 Logstash设计了自己的DSL,有点像Puppet的

《ELK Stack权威指南(第2版)》一 2.2 编解码配置

2.2 编解码配置 Codec是Logstash从1.3.0版开始新引入的概念(Codec来自Coder/decoder两个单词的首字母缩写). 在此之前,Logstash只支持纯文本形式输入,然后以过滤器处理它.但现在,我们可以在输入期处理不同类型的数据,这全是因为有了Codec设置. 所以,这里需要纠正之前的一个概念.Logstash不只是一个input | filter | output的数据流,而是一个input | decode | filter | encode | output的数