《Splunk智能运维实战》——1.5 使用模块输入

1.5 使用模块输入

从Splunk 5.0以后,可以扩展已有的数据输入功能,比如创建并分享自定义输入类型,而且仍可进行小的定制。

模块输入建立在脚本输入模型之上。用户需要的任何附加功能都必须包含在脚本中。但这就会出现一个问题,因为Splunk本身无法自定义这个脚本。比如,当我们想从一个源为两个不同的用户名获取数据时,可能需要两份脚本,或者需要在脚本输入配置中改变命令行参数。

利用模块输入功能,开发者现在可以将代码封装到可复用的应用程序中,这样它在Splunk中能显示各种参数,并允许Splunk管理员通过熟悉的方式来进行配置。

本节将介绍如何安装命令模块输入,它可以周期性执行命令并索引该命令输出的数据。我们将对输入进行配置,来收集Linux中的vmstat命令或Windows中的systeminfo命令输出的数据。

做好准备

要进行本节的操作,仅需运行Splunk服务器并连接网络。

如何操作

按照下列步骤配置模块输入:

1 . 登录Splunk服务器。

2 . 从主页面左上角的“应用程序”菜单点击“查找更多应用程序”。

3 . 在搜索字段中,输入command modular input并单击搜索图标。

4 . 在搜索结果中单击“命令模块输入”的“免费安装”按钮。

5 . 输入Splunk.com的证书并单击“登录”。Splunk将显示信息,提示应用程序安装成功。

6 . 从右上角的主启动器单击“设定”菜单,并点击“数据输入”链接。

7 . 在“数据输入”页面,点击“类型”下的“命令”链接。

8 . 点击“新建”。

9 . 在“模块输入名称”字段,输入SystemInfo。

如使用Linux系统,在“命令名称”字段输入/usr/bin/vmstat。

如使用Windows系统,在“命令名称”字段输入C:WindowsSystem32systeminfo.exe。

如果要执行的命令无法从系统路径找到,需要使用完整路径。

10 . 在“命令参数”字段中,输入的任何参数都会被传到“命令名称”字段列出的命令中。在“命令执行间隔”字段,以秒为单位输入值,设定命令执行的频率(在这一例子中,设定为60秒)。如以流的方式输出,直接勾选“流输出”字段。

11 . 在“源类型”部分,可选择预定义的源类型,也可选择“手动”并输入需要的值。出于本节的需要,在源类型选择“手动”,并输入cp01_modular_input作为源类型的值。

12 . 点击“保存”。Splunk现已配置好,可以按照设定的间隔每隔60秒来执行提供的模块输入。输入下列命令搜索“全部时间”的脚本输入返回的数据:

工作原理

模块输入被捆绑为Splunk的应用程序,安装后,它包含所有必需的配置和编码,在Splunk的“数据输入”部分能看到。本节中,安装了一个可周期性执行命令的模块输入应用程序。为其配置命令,使其每分钟执行并索引每次命令的结果,指定结果的源类型为cp01_modular_input。

模块输入可以用多种语言编写。它需要遵循一套界面,显示配置选项和运行时行为。根据输入的设定,它们可以持续运行也可以间隔运行,并在接收数据后发送数据到Splunk。

可从Splunk Apps网站(http://apps.splunk.com)找到其他模块输入,包括REST API、SNMP和 PowerShell。

更多内容

要了解如何创建属于自己的模块输入,参考《Developing Views and Apps for Splunk Web》手册中的Modular Inputs部分,网址为http://docs.splunk.com/ Documentation/Splunk/latest/AdvancedDev。

另参见


时间: 2024-09-30 05:36:01

《Splunk智能运维实战》——1.5 使用模块输入的相关文章

《Splunk智能运维实战》——第1章 游戏时间——导入数据 1.1 简介

第1章 游戏时间--导入数据 1.1 简介 加快运维智能的机器数据有很多不同的形式,来源也各不相同.Splunk可从多种来源收集并索引数据,其中包括Web服务器或商业应用程序创建的日志文件,网络设备生成的系统日志数据,及自定义开发脚本输出的数据.即便数据一开始看上去很复杂,我们也可以借助Splunk轻松地实时收集.索引.转化和呈现数据. 本章将学习一些基本的技巧,掌握如何将所需的数据导入Splunk,介绍如何使用样本数据集来构建自己的Splunk智能运维应用程序.该数据集是由一个虚拟的三层式电子

《Splunk智能运维实战》——1.7 为本书加载样本数据

1.7 为本书加载样本数据 Splunk索引的数据大部分都是实时接收的,但在一些情况下,我们想向Splunk导入一组数据,以便回填缺失丢失或不完整的数据,或者仅仅利用Splunk的搜索和报表工具. 本节将学习如何在Splunk服务器上一次性批量加载本地数据.我们将加载样本数据,并在随后的章节使用它来构建Splunk智能运维应用程序. 样本数据由两个文件组成.第一个文件是access_log,它代表Web层的数据,模拟的是Apache Web服务器.第二个文件是app_log,它代表应用程序层的数

《Splunk智能运维实战》——导读

前 言 在这个以科技为中心的世界里,各式各样的机器产生了大量的数据.Splunk因此推出了业内领先的大数据智能运维平台--Splunk Enterprise.这个强大的平台能让用户将机器数据转化为可操作的.非常重要的运维智能. 本书融合了各种实用方法,旨在提供指导和实用知识,以便使读者掌握Splunk Enterprise 6的各种功能,从数据中提取出强大而重要的运维智能. 本书通过简单易学.循序渐进的操作技巧,教授读者如何有效地收集.分析并创建所在环境的运营数据报表.这些技巧将展示如何加快智能

《Splunk智能运维实战》——1.9 定义事件类型和标签

1.9 定义事件类型和标签 Splunk中的事件类型是将数据中共同类型的事件归类的一种方法,这样可以使它们更易于搜索和制作报表.使用事件类型有助于把类似的事件归为同一类.事件类型本质上将数个搜索条件变为字段/值对.标签有助于更高效地搜索事件数据组.我们可以为包括事件类型在内的任何字段/值组合分配标签. 比如,Windows登录事件可以被赋予事件类型windows_logon,UNIX登录事件可以被赋予事件类型unix_logon,VPN登录事件可以被赋予事件类型vpn_logon.以上三种事件类

《Splunk智能运维实战》——1.4 使用脚本输入

1.4 使用脚本输入 智能运维所需的数据并非全部来自日志文件或网络端口.Splunk也可获取命令或脚本的输出,并将其与其他数据一起索引. 脚本输入是针对较难获取数据的一种有效方法.如果收集第三方提供的命令行程序输出的数据,Splunk可定期运行该命令来索引结果.通常来说,脚本输入常用于从某个源抓取信息,而网络输入则等待数据从某个源不断推送. 本节将介绍如何配置Splunk,使其每隔一段时间执行命令并将输出的数据导入Splunk. 做好准备 要进行本节的操作,需要运行Splunk Enterpri

《Splunk智能运维实战》——1.8 定义字段提取内容

1.8 定义字段提取内容 Splunk内置了许多功能,能识别多种常见的源类型,因此能自动识别出数据中的字段.Splunk默认也会提取日志数据中的所有键值对和JSON格式日志中的所有字段.但是原始日志数据中的字段不能直接解释,必须提供给Splunk相关信息使这些字段易于搜索. 随后章节要用到的样本数据包含了作为字段提交给Splunk的数据.大部分原始数据包含Splunk能自动提取的键值对,但需要告知Splunk如何提取代表页面响应时间的这一特殊字段.要进行该操作,需要添加自定义字段提取内容,以便告

《Splunk智能运维实战》——第3章 仪表盘和可视化——让数据闪光 3.1 简介

第3章 仪表盘和可视化--让数据闪光 3.1 简介 前一章介绍了Splunk的搜索处理语言(SPL)以及如何使用SPL来搜索数据并制作报表.本章将以这些知识为基础,使用Splunk的可视化功能让数据更直观.我们将学习如何通过Splunk UI创建仪表盘并添加前一章制作的报表.我们将再创建两个仪表盘,以供本书其他章节使用. 可视化是数据得以最佳呈现的基础.按照人们熟悉的方式可视化数据,就能让用户更好地了解被展示的内容,并正确地理解该如何应对.当使用Splunk来进行智能运维时,会发现几乎所有的报表

《Splunk智能运维实战》——3.2 创建智能运维仪表盘

3.2 创建智能运维仪表盘 在开始学习可视化之前,最好先了解一下创建仪表盘的步骤.本节将使用Splunk Web UI从头开始创建一个仪表盘,在之后的章节将使用到它. 做好准备 本章操作需要运行Splunk Enterprise服务器,并导入第1章中的样本数据,并完成第2章的学习.你应该已经很熟悉Splunk用户界面了. 如何操作 按照下列步骤创建智能运维仪表盘: 登录Splunk服务器. 选择默认的"搜索和报表"应用程序. 从菜单栏选择"仪表盘"链接. 在仪表盘界

《Splunk智能运维实战》——3.10 使用条形图按类别显示平均花销

3.10 使用条形图按类别显示平均花销 整个这一章我们都在制作可视化图表来洞察电子商务网站的智能运维.这对于理解消费者的看法以及驱使他们前来网站的因素也会很有帮助.这一类型的信息通常对产品经理和市场经理来说最有帮助.了解一种产品是否越来越受欢迎,并且/或者这是否会最终给网站带来更多的消费者和更重的负载,也会很有益处. 本节中,将编写Splunk搜索,按照产品类别计算平均花销.随后会在新的Product Monitoring(产品监控)仪表盘上用条形图来形象地呈现这些值. 做好准备 要进行本节操作

《Splunk智能运维实战》——3.7 制作请求方法、浏览量和响应时间的时间图

3.7 制作请求方法.浏览量和响应时间的时间图 让特定单值展示在仪表盘对于理解关键指标很有帮助,但是在网站各种指标如何互相影响方面,它难以提供足够的运维智能.通过在特定时间段内标绘诸如请求方法.总浏览数量和平均响应时间等数据,可以理解这些数字之间是否存在关联.这对了解如下情况是很有帮助的,如页面的平均响应时间是否因为网站的活动POST请求数目而增加,或者是否一类请求在特定时间占了请求总数目的大部分. 本节将通过编写Splunk搜索,使用timechart命令来标绘给定时间内一些值的变化.随后会用