《日志管理与分析权威指南》一1.2.2 日志数据是如何传输和收集的

1.2.2 日志数据是如何传输和收集的

日志数据的传输和收集在概念上非常简单。计算机或者其他设备都实现了日志记录子系统,能够在确定有必要的时候生成日志消息,具体的确定方式取决于设备。例如,你可以选择对设备进行配置,设备也可能本身进行了硬编码,生成一系列预设消息。另一方面,你必须有一个用来接收和收集日志消息的地方。这个地方一般被称为日志主机(loghost)。日志主机是一个计算机系统,一般来说可能是Unix系统或者Windows服务器系统,它是集中收集日志消息的地方。使用集中日志收集器的优点如下:

  • 可以集中存储从多个地点得到的日志消息。
  • 可以在上面备份你的日志。
  • 可以在上面进行日志数据的分析。

这固然是好事,但是,最初的日志消息是如何传输的呢?最常见的方法是通过syslog协议。syslog协议是日志消息交换的一种标准。它常见于Unix系统中,也存在于Windows和其他非基于Unix的平台上。syslog基本上都实现了客户端和服务器端组件,两者之间通过用户数据报协议(UDP)通信,但是为了可靠传输,很多开源和商业syslog实现同样也支持传输控制协议(TCP)。客户端部分是生成和发送日志消息的真实设备或者计算机系统。服务器端通常会在一个日志收集服务器上。它的主要工作就是采集基于syslog的日志消息并将其存储在一个本地磁盘上,在那里可以分析日志,备份以及存储以供长期使用。
syslog并不是传输和收集日志数据的唯一机制。例如,微软为Windows开发了自己的日志记录系统,称做Window事件日志(Windows Event Log)。用户登录注销、应用程序消息等都以专有的格式存储。有开源和商业的应用程序用来将Windows事件日志转换成syslog的格式,以发送给syslog服务器。我们将会在第3和第15章对Windows事件日志进行更详细的讨论。
简单网络管理协议(SNMP)是一种用来管理网络设备的基于标准的协议。此协议基于两个概念:陷阱和轮询。陷阱就是当某些事情发生的时候,设备或者计算机系统发出的日志消息的一种形式。陷阱发送到管理站——这类似于日志主机。管理站用来管理基于SNMP的系统。轮询是管理站使用SNMP来查询设备预设变量(例如接口统计数据、接口的进出字节数等等)的手段。SNMP和syslog主要的区别是SNMP应该是根据数据格式来组织的,但在实践中并不总能找到。如果您想要了解关于SNMP的更多内容,请参阅《Essential SNMP》(Mauro & Schmidt,2005)。
数据库已经变成了应用程序存储日志消息的简便途径。应用程序可以将它的日志消息写进数据库模式,而不是生成一条syslog消息。在某些情况下,syslog服务器本身也可以直接写入关系型数据库,特别是在结构化存储、分析和报告日志消息的情况下有着极大的优势。
最后,也有一些专有的日志记录格式。第三方设备和应用程序实现了用于生成和检索日志消息的专有机制。在这个领域,供应商可能以C或者Java类库的形式给你提供应用编程接口(API),或者由你自行实现协议。可将Windows事件日志看作一种专有格式,但时常人们将其看作非官方日志记录标准,类似syslog,因为它相当流行。
我们在本节中讨论了以下一些较为常见的协议:

  • syslog:基于UDP的客户端/服务器协议。这是最常见和普遍的日志记录机制。
  • SNMP:SNMP最初是为了管理网络中的设备而创造的。然而多年来许多非网络系统已采用SNMP作为发出日志消息和其他状态类型数据的方式。
  • Windows事件日志:微软的专有日志记录格式。
    数据库:以结构化的方式来存储和检索日志消息。

常用的专有协议:

  • LEA:日志提取API(Log Extraction API,LEA)是Checkpoint用于从它的防火墙和安全产品线收集日志的API。
  • SDEE:安全设备事件交换(Security Device Event Exchange,SDEE)是思科用于从它的IPS(入侵预防系统)设备产品线收集日志消息的基于可扩展标记语言(XML)的协议。
  • E-Streamer:E-Streamer是Sourcefire公司为其IPS开发的专有协议。
    注意支持的日志记录方法

有些设备支持多种日志记录方法。例如,IPS设备可能支持将日志记录到syslog服务器或是数据库系统。问题在于记录到syslog的日志消息只是由IPS生成的警报摘要信息,它丢失了重要的信息,你可能需要去数据库获取完整的数据集。例如,数据包捕获(PCAP)。PCAP包含触发IPS生成警报或者日志消息的网络连接部分。这可能是用于信息分析、报告的一个重要的项目。

时间: 2024-07-31 08:11:58

《日志管理与分析权威指南》一1.2.2 日志数据是如何传输和收集的的相关文章

《日志管理与分析权威指南》一导读

前 言 欢迎阅读本书.本书的目标是向信息技术(IT)专业人士提供理解和处理日志数据的入门知识.各种形式的日志数据是由许多类型的系统生成的.如何处理和分析日志数据是长期存在的一个问题.本书介绍能够帮助你分析日志数据和寻找恶意活动的技术和工具. 过去,系统管理员审阅日志文件,寻找磁盘错误或者内核问题.现在的系统管理员往往还要兼任安全管理员.更好地理解如何处理安全日志数据的需求从未像今天那么重要.安全性分析人员是IT专家组中负责跟踪日志分析技术的人.许多经验丰富的人曾经在"压力测试"的模式下

《日志管理与分析权威指南》一1.2.1 什么是日志数据

1.2.1 什么是日志数据 简单地说,日志数据的核心就是日志消息或者日志.日志消息就是计算机系统.设备.软件等在某种刺激下反应生成的东西.确切的刺激在很大程度上取决于日志消息的来源.例如,Unix操作系统会记录用户登录和注销的消息,防火墙将记录ACL通过和拒绝的消息,磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息. 日志数据(log data)就是一条日志消息的内在含义.换句话说,日志数据就是一条日志消息里用来告诉你为什么生成日志消息的信息.例如,Web服务器一般会在有

《日志管理与分析权威指南》一3.2.2 SNMP

3.2.2 SNMP SNMP设计用于满足网络管理员不断增长的需求.从20世纪90年代初起,SNMP已经集成到几乎所有你能想到的网络系统中,包括许多网络安全系统.SNMP是查询和配置设备的一种协议.SNMP陷阱和通知是设备在特定事件发生时生成的特殊SNMP消息.虽然SNMP协议整体来说不是一个日志记录系统,但是SNMP陷阱和通知可以看作日志消息的类型.虽然许多网络设备能够通过syslog发送事件信息,但是有些设备不能,特别是旧设备,因此SNMP陷阱和通知是从设备获得其他途径不能收集的事件信息的一

《日志管理与分析权威指南》一2.1 概述

2.1 概述 在第1章我们已经讨论了日志,但是,我们真正讨论的东西是什么?我们正在讨论的并不是树木.数学,或航海日志等等--让我们从定义开始,该领域中的许多讨论是粗略和模糊的,对安全分析人员或网络工程师没有什么用处,因此探寻一个围绕日志记录数据的清晰定义就变得意义非凡了.定义 在日志记录.日志分析以及日志管理中使用的许多术语(包括我们刚刚使用过的)含义模糊,充满误导或者有多重意义.在某些情况下,术语是从其他学科中"借用"的(我们偶尔会用到这些词),有时,不同的人使用不同的术语.而在另一

《日志管理与分析权威指南》一1.2.4 日志生态系统

1.2.4 日志生态系统 之前我们已经在概略地讨论了日志数据和日志消息,现在我们来了解日志是怎么在整个日志记录生态系统中使用的.日志记录生态系统,有时也称为日志记录基础设施,是组合在一起实现了日志数据的生成.过滤.规范化.分析和长期存储各项功能的组件和零件.这个系统的最终目标是能够利用日志来解决问题.而需要解决的问题取决于你的环境.例如,如果你是一个处理信用卡交易的零售组织,就必须遵守各种各样的监管和依从性要求.本节中余下的内容将会在后续的章节中展开讲解.让我们从一些在开始规划日志系统架构的时候

《日志管理与分析权威指南》一1.4 被低估的日志

1.4 被低估的日志 在很多企业环境中,日志没有得到重视.日志往往在日常工作中被完全忽视,仅仅在磁盘空间不足的时候才会引起人们的注意.而在这个时候它们往往未经查看就被删除了.某些情况下,日志中的一些消息可能指出磁盘满的原因.我们肯定都有过查看已被入侵的机器的经历,在询问日志保存的位置之后,我们会听到:"噢,它们只会占据空间,所以我们把它们删掉了."在大多数这种情况下,我们没有什么可做的.为什么日志不受重视呢?这是有很多原因的.供应商并不希望你使用它.入侵检测系统的供应商会告诉你需要最新

《日志管理与分析权威指南》一1.5.5 无聊的审计,有趣的发现

1.5.5 无聊的审计,有趣的发现 审计是验证系统或者过程是否如预期般运行的过程.日志是审计过程的一部分,形成审计跟踪的一部分. 审计往往是为了政策或者监管依从性而进行的.例如,公司往往需要做财务审计,以确保他们的财务报表和账簿相符,且所有数字都合情合理.Sarbanes-Oxley(萨班斯-奥克斯利法案)和HIPAA(健康保险便利性与责任法案)等美国法规都要求某种交易日志,以及可以用来验证用户对金融和患者数据的访问的审计跟踪.另一个例子是Payment Card Industry Data S

《日志管理与分析权威指南》一3.2.1 syslog

3.2.1 syslog 在第1章和第2章中你已经看到了syslog消息示例.本节更多的是关于协议本身的.syslog被Unix内核和许多应用程序用来记录日志消息,它最初是用于收集调试信息的.因此,它对于安全日志分析有一些限制,不是最优的.尽管如此,syslog已经成为了基于UNIX的系统中记录应用程序事件的最常用方法. syslog包含syslog守护进程(syslogd).它通常分别在开机和关机时启动和停止.应用程序通过syslog(3)库调用与syslogd通信.syslogd通过Unix

《日志管理与分析权威指南》一2.3 良好日志记录的标准

2.3 良好日志记录的标准 正如这本书中各式例子所示,许多情况下日志记录的信息是不完整的,有时甚至是没用的.那么怎样才算是"良好"的日志呢?对入侵检测.资源管理或审计来说,日志消息必须包含哪些必要的信息?由于日志的种类很多,生成日志的设备更是多种多样,因此很难定义单一的标准. 通常来说,日志应该能够告诉你如下信息: 发生了什么(即What,辅以适当细节信息:单纯的"某事发生"通常并不是特别有用) 发生于何时(即When,若有必要,包含开始时间以及结束时间) 发生于何