《Splunk智能运维实战》——1.2 索引文件和目录

1.2 索引文件和目录

从文件和目录输入数据是向Splunk导入数据最常用的方法。这种类型的输入主要是为了索引日志文件。几乎每个应用程序或系统都会产生日志文件,当中包括了我们想搜索和制作报表的很多数据。

Splunk能够持续监控写入现有文件的新数据或添加到目录中的新文件,并且能够实时索引这些数据。根据生成日志文件的应用类型不同,可以将Splunk设定为监控单一文件(基于其位置)或扫描整个目录并监控其中的所有文件。当生成的日志文件包含唯一的文件名(比如名字中含有时间戳)时,后一种配置更常使用。

本节将学习如何配置Splunk来持续监控并索引Splunk服务器上的一个日志文件,这个日志文件的内容会不断增加。本节将专门展示如何监控并索引Linux系统上的messages日志文件(/var/log/messages)。然而,同样的方法也适用于Windows系统上的日志文件,本书也提供了一个示例文件。但请不要用这种方法索引Windows事件日志,因为Splunk有专门的Windows事件输入法。

做好准备

要进行本节的操作,需运行Splunk Enterprise服务器并且有权限访问读取Linux上的/var/log/messages文件。没有其他先决条件。如果使用的不是Linux系统,并且/或者没有权限访问 Splunk服务器上的/var/log/messages,要使用本书提供的cp01_messages.log文件并将其加载到Splunk服务器上一个可访问的目录中。

如何操作

按下列步骤监控并索引文件内容。

1 . 登录Splunk服务器。

2 . 从右上角的主启动器,单击“添加数据”按钮。

3 . 在“选择数据类型”列表中,单击“文件或文件目录”。

4 . 在“索引此Splunk服务器上的所有文件”选项中单击“下一步”按钮。

5 . 选择“索引前预览数据”并输入日志文件路径(/var/log/messages或cp01_messages.log文件的位置)并单击“继续”按钮。

6 . 选择“开始一个新的源类型”并单击“继续”按钮。

7 . 假如你使用本书提供的文件或本地的/var/log/messages文件,数据预览将展示正确分行后的事件及时间戳标志。单击“继续”按钮。

8 . 会弹出“预览设置”框。在源类型输入linux_messages,单击“保存源类型”按钮。

9 . 会出现“源类型已保存”的提示框,选择“创建输入”按钮。

10 . 在“源”部分,选择“从Splunk本次访问的文件或目录中持续索引数据”,并填写数据路径。

如果只是想一次性加载某个文件,可选择“上传并索引文件”。这个选项适合于索引一组数据到Splunk,既可用来回填一些缺失或不完整的数据,也可仅仅为了利用其搜索和报表工具。

11 . 暂且忽略其他设定,直接单击“保存”。然后,在下一个界面中,点击“开始搜索”。在搜索栏,输入下列搜索,时间范围设定为“全部时间”:

在本节中,可直接使用常见的系统日志源类型,不过,创建新的源类型往往是更好的选择。根据数据源不同,系统日志格式可能差异很大。因为像提取字段这样的知识对象是建立在源类型之上的,为所有对象使用单一的系统日志源类型可能会较难搜索到所需的数据。

工作原理

当添加一个新的文件或目录来导入数据时,也就是在后台向inputs.conf文件添加新的配置节。Splunk服务器可包含一个或多个inputs.conf文件,它们位于$SPLUNK_HOME/etc/ system/local或Splunk 应用程序的local目录。

Splunk使用的输入类型是监控器,并被设定为指向某个文件或目录。如果设置对一个目录进行监控,目录中的所有文件都会被监控。当Splunk监控文件时,它会首先从头索引所有能读取的数据。完成后,Splunk将保留上次读取数据的位置记录,如有任何新的数据写入文件,它将读取这个数据并继续记录。这个过程几乎和在UNIX操作系统下使用tail命令相同。如需要监控一个目录,Splunk也会提供很多附加的配置选项,比如将不需要Splunk索引的文件列入黑名单。

若想获取Splunk配置文件的更多信息,请访问 http://docs.splunk.com/Documentation/Splunk/latest/Admin/ Aboutconfigurationfiles。

更多内容

除了可按照本节的方法通过Splunk的Web界面添加输入信息来监控文件和目录,还有其他方法来快速地添加多种输入信息。这些方法允许我们自定义Splunk提供的多种配置
选项。

通过CLI(命令行界面)添加文件或目录数据输入

除了通过GUI(图形用户界面)之外,还可通过Splunk CLI(command-line interface)来添加文件或目录输入。进入$SPLUNK_HOME/bin目录并执行下列命令(将需要监控的文件或目录替换成你自己的)。

UNIX系统:

Windows系统:

许多参数可以随文件位置一起被传送到监控器。参考Splunk技术文档来了解更多CLI数据输入的用法(http://docs.splunk.com/Documentation/Splunk/latest/Data/ MonitorfilesanddirectoriesusingtheCLI)。

通过inputs.conf添加文件或目录输入

另一种添加文件和目录输入的常用方法是手动将其直接添加至inputs.conf配置文件中。该方法常用于大环境中或配置Splunk 转发器来监控终端上的文件或目录。

编辑$SPLUNK_HOME/etc/system/local/inputs.conf并添加输入。添加完输入后,需要重启Splunk来识别更改。

UNIX系统:

Windows系统:

如需进行多个输入,编辑inputs.conf通常可以更快地添加新文件和目录来监控。编辑inputs.conf时,要确保使用正确的语法,并重启Splunk来使修改生效。此外,在inputs.conf文件中设定源类型是指定源类型的最佳做法。

通过Splunk CLI一次性索引数据文件

除了从Splunk GUI中选择“上传并索引文件”进行操作之外,也可使用很多CLI功能来执行一次性批量加载数据。

使用oneshot命令告知Splunk文件位置及所用参数,比如源类型:

另一种方法是将希望索引的文件放入Splunk spool目录,$SPLUNK_ HOME/var/spool/splunk,然后使用spool命令添加文件:

如使用Windows系统,应省略Splunk命令前的“./”。

索引Windows事件日志

Splunk针对一些源类型有专门的inputs.conf配置方式,其中包括监控Windows事件日志。通常来说,把Splunk通用转发器(UF)安装在Windows服务器上,配置后可转发Windows事件至Splunk索引器。对inputs.conf进行如下配置来实时监控Windows安全日志、应用程序日志和系统事件日志:

除非另外指定索引,否则事件数据默认会进入主索引。

另参见

时间: 2024-07-29 18:36:08

《Splunk智能运维实战》——1.2 索引文件和目录的相关文章

《Splunk智能运维实战》——第1章 游戏时间——导入数据 1.1 简介

第1章 游戏时间--导入数据 1.1 简介 加快运维智能的机器数据有很多不同的形式,来源也各不相同.Splunk可从多种来源收集并索引数据,其中包括Web服务器或商业应用程序创建的日志文件,网络设备生成的系统日志数据,及自定义开发脚本输出的数据.即便数据一开始看上去很复杂,我们也可以借助Splunk轻松地实时收集.索引.转化和呈现数据. 本章将学习一些基本的技巧,掌握如何将所需的数据导入Splunk,介绍如何使用样本数据集来构建自己的Splunk智能运维应用程序.该数据集是由一个虚拟的三层式电子

《Splunk智能运维实战》——1.7 为本书加载样本数据

1.7 为本书加载样本数据 Splunk索引的数据大部分都是实时接收的,但在一些情况下,我们想向Splunk导入一组数据,以便回填缺失丢失或不完整的数据,或者仅仅利用Splunk的搜索和报表工具. 本节将学习如何在Splunk服务器上一次性批量加载本地数据.我们将加载样本数据,并在随后的章节使用它来构建Splunk智能运维应用程序. 样本数据由两个文件组成.第一个文件是access_log,它代表Web层的数据,模拟的是Apache Web服务器.第二个文件是app_log,它代表应用程序层的数

《Splunk智能运维实战》——导读

前 言 在这个以科技为中心的世界里,各式各样的机器产生了大量的数据.Splunk因此推出了业内领先的大数据智能运维平台--Splunk Enterprise.这个强大的平台能让用户将机器数据转化为可操作的.非常重要的运维智能. 本书融合了各种实用方法,旨在提供指导和实用知识,以便使读者掌握Splunk Enterprise 6的各种功能,从数据中提取出强大而重要的运维智能. 本书通过简单易学.循序渐进的操作技巧,教授读者如何有效地收集.分析并创建所在环境的运营数据报表.这些技巧将展示如何加快智能

《Splunk智能运维实战》——1.9 定义事件类型和标签

1.9 定义事件类型和标签 Splunk中的事件类型是将数据中共同类型的事件归类的一种方法,这样可以使它们更易于搜索和制作报表.使用事件类型有助于把类似的事件归为同一类.事件类型本质上将数个搜索条件变为字段/值对.标签有助于更高效地搜索事件数据组.我们可以为包括事件类型在内的任何字段/值组合分配标签. 比如,Windows登录事件可以被赋予事件类型windows_logon,UNIX登录事件可以被赋予事件类型unix_logon,VPN登录事件可以被赋予事件类型vpn_logon.以上三种事件类

《Splunk智能运维实战》——1.4 使用脚本输入

1.4 使用脚本输入 智能运维所需的数据并非全部来自日志文件或网络端口.Splunk也可获取命令或脚本的输出,并将其与其他数据一起索引. 脚本输入是针对较难获取数据的一种有效方法.如果收集第三方提供的命令行程序输出的数据,Splunk可定期运行该命令来索引结果.通常来说,脚本输入常用于从某个源抓取信息,而网络输入则等待数据从某个源不断推送. 本节将介绍如何配置Splunk,使其每隔一段时间执行命令并将输出的数据导入Splunk. 做好准备 要进行本节的操作,需要运行Splunk Enterpri

《Splunk智能运维实战》——1.8 定义字段提取内容

1.8 定义字段提取内容 Splunk内置了许多功能,能识别多种常见的源类型,因此能自动识别出数据中的字段.Splunk默认也会提取日志数据中的所有键值对和JSON格式日志中的所有字段.但是原始日志数据中的字段不能直接解释,必须提供给Splunk相关信息使这些字段易于搜索. 随后章节要用到的样本数据包含了作为字段提交给Splunk的数据.大部分原始数据包含Splunk能自动提取的键值对,但需要告知Splunk如何提取代表页面响应时间的这一特殊字段.要进行该操作,需要添加自定义字段提取内容,以便告

《Splunk智能运维实战》——第3章 仪表盘和可视化——让数据闪光 3.1 简介

第3章 仪表盘和可视化--让数据闪光 3.1 简介 前一章介绍了Splunk的搜索处理语言(SPL)以及如何使用SPL来搜索数据并制作报表.本章将以这些知识为基础,使用Splunk的可视化功能让数据更直观.我们将学习如何通过Splunk UI创建仪表盘并添加前一章制作的报表.我们将再创建两个仪表盘,以供本书其他章节使用. 可视化是数据得以最佳呈现的基础.按照人们熟悉的方式可视化数据,就能让用户更好地了解被展示的内容,并正确地理解该如何应对.当使用Splunk来进行智能运维时,会发现几乎所有的报表

《Splunk智能运维实战》——3.2 创建智能运维仪表盘

3.2 创建智能运维仪表盘 在开始学习可视化之前,最好先了解一下创建仪表盘的步骤.本节将使用Splunk Web UI从头开始创建一个仪表盘,在之后的章节将使用到它. 做好准备 本章操作需要运行Splunk Enterprise服务器,并导入第1章中的样本数据,并完成第2章的学习.你应该已经很熟悉Splunk用户界面了. 如何操作 按照下列步骤创建智能运维仪表盘: 登录Splunk服务器. 选择默认的"搜索和报表"应用程序. 从菜单栏选择"仪表盘"链接. 在仪表盘界

《Splunk智能运维实战》——3.10 使用条形图按类别显示平均花销

3.10 使用条形图按类别显示平均花销 整个这一章我们都在制作可视化图表来洞察电子商务网站的智能运维.这对于理解消费者的看法以及驱使他们前来网站的因素也会很有帮助.这一类型的信息通常对产品经理和市场经理来说最有帮助.了解一种产品是否越来越受欢迎,并且/或者这是否会最终给网站带来更多的消费者和更重的负载,也会很有益处. 本节中,将编写Splunk搜索,按照产品类别计算平均花销.随后会在新的Product Monitoring(产品监控)仪表盘上用条形图来形象地呈现这些值. 做好准备 要进行本节操作