第 21 章 ElasticSearch + Logstash + Kibana

目录

21.1. 安装
21.1.1. 6.x
21.1.2. ElasticSearch + Logstash + Kibana 安装
21.1.2.1. ElasticSearch 安装
21.1.2.2. Kibana 安装
21.1.2.3. Logstash 安装
21.1.2.4. 从 5.x 升级到 6.x
21.2. logstash 命令简单应用
21.2.1. -e 命令行运行
21.2.2. -f 指定配置文件
21.2.3. -t:测试配置文件是否正确,然后退出。
21.2.4. -l:日志输出的地址
21.2.5. log.level 启动Debug模式
21.3. 配置 Broker(Redis)
21.3.1. indexer
21.3.2. shipper
21.4. logstash 配置项
21.4.1. input
21.4.1.1. 标准输入输出
21.4.1.2. rubydebug
21.4.1.3. 本地文件
21.4.1.3.1. 指定文件类型
21.4.1.3.1.1. Nginx
21.4.1.4. TCP/UDP
21.4.1.5. Redis
21.4.1.6. Kafka
21.4.1.7. jdbc
21.4.2. filter
21.4.2.1. 日期格式化
21.4.2.2. patterns
21.4.2.3. syslog
21.4.2.4. csv
21.4.2.5. 使用ruby 处理 CSV文件
21.4.2.6. 执行 ruby 代码
21.4.2.7. grok debug 工具
21.4.3. output
21.4.3.1. stdout
21.4.3.2. file 写入文件
21.4.3.3. elasticsearch
21.4.3.3.1. 自定义 index
21.4.3.4. exec 执行脚本
21.5. Example
21.5.1. Spring boot logback
21.5.2. 索引切割实例
21.5.3.
21.5.3.1.
21.6. FAQ
21.6.1. 查看 Kibana 数据库
21.6.2. logstash 无法写入 elasticsearch
21.6.3. 标准输出
21.6.4. 5.x 升级至 6.x 的变化

官方网站https://www.elastic.co

环境准备:

操作系统: CentOS 7

Java 1.8

Redis

ElasticSearch + Logstash + Kibana 均使用 5.2 版本

以下安装均使用 Netkiller OSCM 脚本一键安装

21.1. 安装

21.1.1. 6.x

curl -s https://raw.githubusercontent.com/oscm/shell/master/search/elastic/elastic-6.x.sh | bash

21.1.2. ElasticSearch + Logstash + Kibana 安装

21.1.2.1. ElasticSearch 安装

粘贴下面命令到Linux控制台即可一键安装

curl -s https://raw.githubusercontent.com/oscm/shell/master/search/elasticsearch/elasticsearch-5.x.sh | bash
21.1.2.2. Kibana 安装
curl -s https://raw.githubusercontent.com/oscm/shell/master/log/kibana/kibana-5.x.sh | bash
21.1.2.3. Logstash 安装
curl -s https://raw.githubusercontent.com/oscm/shell/master/log/kibana/logstash-5.x.sh | bash
				
21.1.2.4. 从 5.x 升级到 6.x

升级仓库

curl -s https://raw.githubusercontent.com/oscm/shell/master/search/elastic/elastic-6.x.sh | bash		
yum update logstash

原文出处:Netkiller 系列 手札
本文作者:陈景峯
转载请与作者联系,同时请务必标明文章原始出处和作者信息及本声明。

时间: 2024-09-24 16:02:20

第 21 章 ElasticSearch + Logstash + Kibana的相关文章

第 98 章 ElasticSearch + Logstash + Kibana

操作系统: CentOS 7 Java 1.8 Redis ElasticSearch + Logstash + Kibana 均使用 5.2 版本 以下安装均使用 Netkiller OSCM 脚本一键安装 98.1. ElasticSearch + Logstash + Kibana 安装 98.1.1. ElasticSearch 安装 粘贴下面命令到Linux控制台即可一键安装 curl -s https://raw.githubusercontent.com/oscm/shell/ma

ELK( ElasticSearch+ Logstash+ Kibana)分布式日志系统部署文档

开始在公司实施的小应用,慢慢完善之~~~~~~~~文档制作 了好作运维同事之间的前期普及.. ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 软件下载地址: https://www.elastic.co/downloads 在实际部署中,根据服务器的性能配置,ELK可部署在同一个机器上,也可以分别安装在不同的机器上,只要能保证网络连通.但建议ElasticSearch和Kibana部署在同一个机器上,这样可以加快检索速度. Shipper: 分布式部署在各应用服务器,收集并转发日

ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样

Centos7安装配置ELK(Elasticsearch + Logstash + Kibana)分析Nginx日志简单单点配置

ELK的架构原理: logstash收集nginx日志,并对日志进行过滤拆分,并将处理后的结构化数据输出给elastcsearch,es对日志进行存储和索引构建,kibana提供图形界面及对es 查询api进行了封装,提供友好的查询和统计页面.在生产环境中,logstash作为agent安装部署在任何想要收集日志的主机上,为了缓解多个agent对ES的输出压力,需要定义一个broker(redis)对日志进行输入缓冲,然后定义一个logstash server对broker中的日志统一读取并输出

ELKF(Elasticsearch+Logstash+ Kibana+ Filebeat) 部署

风来了.fox 1.安装 Elasticsearch 和配置 Elasticsearch2.4.X 搜索引擎框架 安装配置 2.安装 Logstash 和配置 Logstash 日志搜集处理框架 安装配置 3.安装 Kibana 4 和配置 kibana4 分析和搜索仪表板 安装和配置 4.安装 Filebeat 和配置 如果只监控服务器访问日志,日志格式不是很多,本Filebeat 可以不需要安装 Filebeat 日志收集器 安装和配置

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 good

环境:OS X 10.10.5 + JDK 1.8 步骤: 一.下载ELK的三大组件 Elasticsearch下载地址: https://www.elastic.co/downloads/elasticsearch (目前最新版本:2.1.1) Logstash下载地址: https://www.elastic.co/downloads/logstash (目前最新版本:2.1.1) Kibana下载地址: https://www.elastic.co/downloads/kibana (目前

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程

环境:OS X 10.10.5 + JDK 1.8 步骤: 一.下载ELK的三大组件 Elasticsearch下载地址: https://www.elastic.co/downloads/elasticsearch (目前最新版本:2.1.1) Logstash下载地址: https://www.elastic.co/downloads/logstash (目前最新版本:2.1.1) Kibana下载地址: https://www.elastic.co/downloads/kibana (目前

ElasticSearch + Logstash + Kibana 搭建笔记

ElasticSearch 安装 1.下载 ElasticSearch,本文使用的版本为 5.5.1. 2.配置 path.data: /data/es #数据路径 path.logs: /data/logs/es #日志路径 network.host: 本机地址 #服务器地址 http.port: 9200 #端口 如果不修改配置的话,默认的数据和日志都位于elasticsearch文件夹下. 默认地址会使用 192.168.0.1 的地址,此时ElasticSearch运行于开发模式,只能从

5.32. Spring boot with ELK(Elasticsearch + Logstash + Kibana)

将 Spring boot 日志写入 ELK 有多种实现方式,这里仅提供三种方案: Spring boot -> logback -> Tcp/IP -> logstash -> elasticsearch 这种方式实现非常方便不需要而外包或者软件 Spring boot -> logback -> Redis -> logstash -> elasticsearch 利用 Redis 提供的发布订阅功能将日志投递到 elasticsearch Spring