Splunk实现与Hadoop的集成与监控

2012年10月24日,实时运营信息软件供应商Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。Splunk Hadoop Connect可提供双向集成,轻松可靠地完成在Splunk与Hadoop之间迁移数据。Splunk App for HadoopOps可对端到端Hadoop环境的健康和性能进行实时监控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下载。

Apache Hadoop项目管理委员会主席Arun Murthy表示:“Splunk Hadoop Connect让Hadoop用户更轻松地利用Splunk将大数据带入企业。它让Splunk和Hadoop更紧密地联系在一起,为用户开启了无限可能。Hadoop未来发展的关键技术因素是利用Hadoop从数据中获得情报的软件。”

Edmunds.com生产工程高级总监John Martin表示:“我们不断将数据传输至Splunk,以支持我们的运营、应用、安全团队和高管人员并为他们提供情报。我们还部署Hadoop进行多批处理。Splunk和Hadoop的集成让我们可以充分利用这两个技术,并保证我们的Hadoop集群平稳运行。”

Splunk Hadoop Connect让企业能够充分享受两家企业的技术。快速部署Splunk进行实时采集、检索、分析和可视化,然后可靠地将事件转发至Hadoop,进行长期归档和更多批量分析。企业机构可通过导入存储在Hadoop中的数据进一步充分利用Splunk,从而在几天内就轻松搭建起可靠、安全的企业级大数据项目。Splunk Hadoop Connect与Apache Hadoop兼容,并已经过Cloudera CDH和Hortonworks HDP发布的测试和认证。

Splunk App for HadoopOps为Hadoop提供实时端到端监控、分析和故障排除,所有这些都是在一个界面上完成的。现有Hadoop监控工具只关注Hadoop层。Splunk App for HadoopOps则通过涵盖基础设施,包括Hadoop、网络、交换机、机架、操作系统和数据库在内的所有层,从而实现超越。

Splunk产品营销副总裁Sanjay Mehta表示:“通过将大数据转化为实时情报,Splunk客户每天都为我们带来惊喜。我们希望让Hadoop用户更轻松地获得这种价值。Splunk可通过轻松、迅速、弹性的方式来收集、分析用户所有机器生成的数据并确保其安全,无论是在物理、虚拟还是云环境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一个共同的开发目的,即:帮助Hadoop用户从数据中获得更多,同时更轻松地管理并监控其系统。”

451 Research数据管理与分析研究经理Matt Aslett表示:“Splunk采用一种方法论方式来定义其与Hadoop的共存关系。Splunk Hadoop Connect不仅能够与Hadoop相集成,并且能够与其进行互动,再加上利用Splunk App for HadoopOps来监控超越Hadoop本身的集群资源,意味着它能够在‘提供管理和分析Splunk和Hadoop中数据的单一平台’方面发挥更大作用。”

Splunk Hadoop Connect功能包括:

将事件从Splunk Enterprise?可靠导出至Hadoop,以便进行归档、进一步处理或进行更多批量处理。原始数据和处理前的数据都可发送。

利用Splunk Hadoop Connect用户界面来探索Hadoop目录,检查文件并决定将导入Splunk的数据。

将Hadoop数据导入Splunk,并进行检索,使其用于搜索、报告、分析和可视化,并通过基于角色的访问控制而对其进行保护。

Splunk App for HadoopOps功能包括:

除了从不同数据中心进行多集群管理,还可端到端监控Hadoop集群、数据库和网络,并排除故障。

针对任何警告或错误情况的强大报警框架。

利用直观的热图显示,集中地实时查看Hadoop节点。

分析MapReduce的实时和历史工作表现。

Splunk Hadoop Connect和Splunk App for HadoopOps可在Splunkbase上免费下载。

显然,Splunk实现与Hadoop的集成与监控从外围再次丰富了Hadoop产业链。不只是Splunk,还有Splice Machine,Birst(详见拓展Hadoop范畴)等一批技术创新型企业出现。

(责任编辑:蒙遗善)

时间: 2024-09-27 17:43:23

Splunk实现与Hadoop的集成与监控的相关文章

什么是zabbix(高度集成的监控集成方案)_zabbix

zabbix(音同 zæbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案. zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题. zabbix由2部分构成,zabbix server与可选组件zabbix agent. zabbix server可以通过SNMP,zabbix agent,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能,它可以运行在Linux,So

基于Hadoop的物流车辆运输监控数据管理研究

基于Hadoop的物流车辆运输监控数据管理研究 大连海事大学 胡淼 本文基于原有的一个物流车辆监控管理系统进行研究.使用全新的Hadoop集群技术来替代原有的传统数据库方式对数据进行管理.在现有的条件下搭建了一个含有3个节点的集群环境,考虑监控数据的特性,在Hadoop基础上选用了支持实时读写的分布式数据库系统HBase,重新对监控数据的数据格式进行了设计.并采用了Hadoop强大的数据并行处理编程模型MapReduce对监控数据进行分析处理.将Hadoop与传统的物流车辆运输监控系统结合起来,

基于Hadoop的智能电网监控系统的设计与实现

基于Hadoop的智能电网监控系统的设计与实现 杜旭 刘森 颜璟仪 科技创新与应用 2014年17期 基于Hadoop的智能电网监控系统的设计与实现

Hadoop YARN学习之监控集群监控Nagios(4)

doop YARN学习之监控集群监控Nagios(4) 1. Nagios是一个流行的开源监控工具,可以用来监控Hadoop集群. 2. 监控基本的Hadoop服务 调试好脚本后命名为chek_resource_manager.sh,并把它放在Nagios的插件目录中. 加载Nagios插件向hadoop-cluster.cfg添加如下信息 define command{ command_name check_resource_manager command_line /usr/lib64/na

Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已上市

2012年10月24日,实时运营信息软件供应商Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市.Splunk Hadoop Connect可提供双向集成,轻松可靠地完成在Splunk与Hadoop之间迁移数据.Splunk App for HadoopOps可对端到端Hadoop环境的健康和性能进行实时监控和分析.Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下载.

《KAFKA官方文档》入门指南(四)

1.4生态系统 除了Kafka的主要版本之外,还有很多应用集成了Kafka工具.该生态系统页面中列出的许多工具,包括流处理系统,Hadoop的集成,监控和部署工具. 1.5从以前版本升级 从0.8.4,0.9.x,0.10.0.x或0.10.1.x升级到0.10.2.0 0.10.2.0的有线协议有变化.通过下面的推荐滚动升级计划,你能保证在升级过程中无需停机.但是,请在升级之前查看0.10.2.0版本显著的变化. 从0.10.2版本开始,Java客户端(生产者和消费者)已获得与旧版本代理服务器

监控和审计IBM InfoSphere BigInsights和Cloudera Hadoop的访问权限

您也将学习一个仅适用于 IBM InfoSphere BigInsights 的快速启动监控实现. 大数据骚动主要集中在支持极限容量.速度和多样性的http://www.aliyun.com/zixun/aggregation/13748.html">基础架构和该基础架构支持的实时分析功能中.虽然像 Hadoop 这样的大数据环境是相对较新的,但事实是在大数据环境中数据安全问题的关键是预先解决.哪里有数据,哪里就有可能存在隐私泄密.非授权访问或特权用户的不恰当访问. 整个大数据环境和更多传

微软大数据:SQL Server任主力 Azure与Hadoop集成辅助

在不断激增的联网设备以及无处不在的网络连接的驱动下,视频.音乐及文本等数据早已呈现出无限膨胀的态势.近日研究机构Gartner更发表报告称,"大数据"将在未来十年内成为新的常规行业.目前包括谷歌.IBM.微软.EMC.惠普等众多巨头,已早早开始布局大数据,为在即将来临的大数据时代做好竞争铺垫. 如何利用海量数据为企业带来价值,是微软目前的主要专注方向,同时也是大数据的核心要素.通过数据的采集.存储.发送.处理及分析,帮助企业制定更有效的方针和政策,这在全球各企业中需求非常旺盛,全球50

Splunk 软件将与 Apache(TM) Hadoop(TM) 进行整合

领先的运营情报软件供应商 Splunk Inc. 今天宣布,该公司将对 Splunk Enterprise 软件与 Apache Hadoop 进行整合.命名为 Splunk Enterprise with Hadoop 的新软件包将同时惠及计划配置 Hadoop 的 Splunk 用户和企业. 现职 Battery Ventures 企业家.雅虎全球云计算团队前首席构架师 Todd Papaioannou 表示:"从庞大的机器数据中交付经营情报的市场中,Splunk 已经证明其领导地位,而 H