ElasticSearch实战-入门

1.概述

  今天接着《ElasticSearch实战-日志监控平台》一文来给大家分享后续的学习,在《ElasticSearch实战-日志监控平台》中给大家介绍一个日志监控平台的架构方案,接下来给大家分享如何去搭建部署这样一个平台,给大家做一个入门介绍。下面是今天的分享目录:

  • 搭建部署 Elastic 套件
  • 运行集群
  • 截图预览

  下面开始今天的内容分享。

2.搭建部署 Elastic 套件

  搭建 Elastic 套件较为简单,下面我们开始去搭建部署相关套件,首先我们准备必要的环境。

2.1 基础软件

  大家可以 Elastic 的官方网站下载对应的安装包,地址如下所示:

  [下载地址

  另外,一个基础环境就是需要用到 JDK,ES 集群依赖 JDK,地址如下所示:

  [下载地址

2.2 Logstash 部署

  这里我们将 Logstash 的服务部署在中心节点中,其核心配置文件如下所示:

  • central.conf
input {
    redis {
        host => "10.211.55.18"
        port => 6379
        type => "redis-input"
        data_type => "list"
        key => "key_count"
    }
}
filter {
    grok {
        match => ["message", "%{IPORHOST:client} (%{USER:ident}|-) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} %{NUMBER:bytes} \"(%{QS:referrer}|-)\" \"(%{QS:agent}|-)\""]
    }
    kv {
                source => "request"
                field_split => "&?"
                value_split => "="
        }
    urldecode {
        all_fields => true
    }
}

output {
    elasticsearch {
        cluster => "elasticsearch"
        codec => "json"
        protocol => "http"
    }
}

 其代理节点,分别部署在日志生产节点之上,核心配置文件如下所示:

  • shipper.conf
input {
    file {
        type => "type_count"
        path => ["/home/hadoop/dir/portal/t_customer_access.log"]
        exclude => ["*.gz", "access.log"]
    }
}

output {
    stdout {}
    redis {
        host => "10.211.55.18"
        port => 6379
        data_type => "list"
        key => "key_count"
    }
}

2.3 Elasticsearch 部署

  接着,我们部署 ES 集群,配置较为简单,其配置内容如下所示:

  • elasticsearch.yml


node.name: "node1"

  这里我只配置了其节点名称信息,集群名称使用默认的,若大家需要配置其他信息可自行处理,需要注意的是,这里在实用 scp 命令分发到其他节点时,需要修改其属性值,保持每个节点的 node.name 值不一样即可。

  另外,在安装插件 ES 集群的相关插件时,可以使用以下命令:

  • head 插件


sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head

  • bigdesk 插件


sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

其对应的 Web UI 界面如下图所示:

  • head插件的界面

  • bigdesk的界面

  关于其他的 ES 集群的插件,搭建可以根据实际业务需求进行选择性的安装,这里就不多赘述了。

2.4 Kibana 部署

  这里我们需要安装一个能够去可视化 ES 集群数据的工具,这里我们选择 Kibana 工具去可视化我们的数据,其安装较为简单,只需配置对应的核心文件即可,配置如下:

  • kibana.yml


elasticsearch_url: "http://10.211.55.18:9200"

  这里去可视化 node1 节点 ES 集群中数据。

3.运行集群

  接着,我们启动整个系统,启动步骤如下所示:

  • 启动 Redis
[hadoop@dn1 ~]$ redis-server &
  • 启动代理节点(分别在其代理节点启动shipper)
bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &
  • 启动中心服务
bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &
  • 启动 ES 集群(分别在 ES 节点启动)
bin/elasticsearch start
  • 启动 Kibana 服务
bin/kibana

4.预览截图

  这里,我们可以预览收集的日志,日志信息我只抽取了几条,截图如下:

  我们还可以使用筛选功能,选取我们需要观察的数据结果,这里我们筛选了 IP 和 AppName 属性进行观察,如下图所示:

5.总结

  这里需要注意的是,若是我们首次启动 Kibana 服务,收集日志信息为空的情况下,在我们创建索引时,Settings 模块下的界面中
Create 按钮会是灰色状态,导致无法创建,这里大家在创建的时候需要保证我们有日志已被收集存储到 ES 集群。如下图,由于我已收集存储日志到
ES 集群,所以按钮呈现绿色状态,供点击创建。如下图所示:

6.结束语

  这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

时间: 2024-10-30 12:31:17

ElasticSearch实战-入门的相关文章

ElasticSearch实战-编码实践

1.概述 前面在<ElasticSearch实战-入门>中给大家分享如何搭建这样一个集群,在完成集群的搭建后,今天给大家分享如何实现对应的业务功能模块,下面是今天的分享内容,目录如下所示: 编码实践 效果预览 总结 2.编码实践 由于 ES 集群支持 Restful 接口,我们可以直接通过 Java 来调用 Restful 接口来查询我们需要的数据结果,并将查询到的结果在在我们的业务界面可视化出来.我们知道在 ES 集群的 Web 管理界面有这样一个入口,如下图所示: 我们可以在此界面的入口中

Swift学习笔记(2)网络数据交换格式(XML,JSON)解析 [iOS实战 入门与提高卷]

Swift学习笔记(2)网络数据交换格式(XML,JSON)解析 参考书籍及资源:iOS实战 入门与提高卷 关东升 参考书籍地址 用NSXML来解析XML文档 用TBXML来解析XML文档 用NSJSONSerialization来解析JSON文档 目录 Swift学习笔记2网络数据交换格式XMLJSON解析 目录 用NSXML来解析XML文档 示例文档Notesxml 创建XMLParser类 调用与运行结果 用TBXML来解析XML文档 准备工作 创建XMLParser类 调用与运行结果 用

ElasticSearch实战-日志监控平台

1.概述 在项目业务倍增的情况下,查询效率受到影响,这里我们经过讨论,引进了分布式搜索套件--ElasticSearch,通过分布式搜索来解决当下业务上存在的问题.下面给大家列出今天分析的目录: ElasticSearch 套件介绍 ElasticSearch 应用场景和案例 平台架构 下面开始今天的内容分享. 2.ElasticSearch 套件 2.1LogStash LogStash是一个开源的.免费的日志收集工具,属于Elastic家族的一员,负责将收集的日志信息输送到ElasticSe

SEO实战入门教程:元标签的详细介绍(上)

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 在上节教程<SEO实战入门教程:网站结构>中我们有粗略的提到网站的"元标签",从文中我们基本了解了什么是元标签以及元标签的位置.但是对于元标签的作用以及优化方式没有涉及到,那么这节教程我们就来详细的分析下"元标签".(上节中将title标签定义到元标签中,从网页设计的角度来讲是不科学的,但是

新手入门:Spark 部署实战入门

Spark简介 整体认识 Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架.最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一. Spark在整个大数据系统中处于中间偏上层的地位,如下图,对hadoop起到了补充作用: 基本概念 Fork/Join框架是Java7提供了的一个用于并行执行任务的框架, 是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架. 第一步分割任务.首先我们需要有一个fo

支持向量机libsvm实战入门

一.libsvm介绍     SVM支持向量机是目前比较流行的一种数据挖掘方法,能够处理较高维度,具体介绍可参考这篇博文: 支持向量机通俗导论(理解SVM的三层境界)     LIBSVM是台湾大学林智仁(Lin Chih-Jen)教授等开发设计的一个简单.易于使用和快速有效的SVM模式识别与回归的软件包,他不但提供了编译好的可在Windows系列系统的执行文件,还提供了源代码,方便改进.修改以及在其它操作系统上应用:该软件对SVM所涉及的参数调节相对比较少,提供了很多的默认参数,利用这些默认参

ElasticSearch安装及使用入门教程

ElasticSearch安装 1.下载 [hjl@localhost local]# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.0.tar.gz--2015-07-17 15:43:00--  https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.0.tar.gzResolving do

智能家居——IoT零基础入门篇

原文地址:http://www.cnblogs.com/rainmote/p/7617454.html 概要 本文主要根据笔者从零开始接触硬件,以小白视角开启IoT探索,根据相关资料DIY一个温湿度传感器.后经过探索发现新大陆--Home Assistant&Homebridge,最终实现了一个智能家居设备从数据采集到控制.展示. 整体结构图 智能设备:温湿度传感器 主控芯片:STM32F103C8T6 通信协议:Zigbee 智能网关:树莓派 数据存储.展示.设备控制:HomeAssistan

Github Coding Developer Book For LiuGuiLinAndroid

Github Coding Developer Book For LiuGuiLinAndroid 收集了这么多开源的PDF,也许会帮到一些人,现在里面的书籍还不是很多,我也在一点点的上传,才上传不到一半,没办法,库存太多了 觉得全部pull麻烦的话,也可以评论留下书名+邮箱,我每天都会统一发邮件,当然,也可以是一个系列,感谢大家的支持 地址:https://github.com/LiuGuiLinAndroid/Coding-Developer-Book Coding-Developer-Bo