安装logstash,elasticsearch,kibana三件套(转)

logstash,elasticsearch,kibana三件套

elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具

注意:

关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用。推荐直接使用官网的这一套:elkdownloads

比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2

安装elasticsearch

下载elasticsearch 1.4.2

tar -xf elasticsearch-1.4.2.tar.gz
mv elasticsearch-1.4.2 /usr/local/
ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch

测试elasticsearch

[root@localhost service]# curl -X GET http://localhost:9200/
{
  "status" : 200,
  "name" : "Fury",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "1.4.2",
    "build_hash" : "927caff6f05403e936c20bf4529f144f0c89fd8c",
    "build_timestamp" : "2014-12-16T14:11:12Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.2"
  },
  "tagline" : "You Know, for Search"
}

安装到自启动项

下载解压到/usr/local/elasticsearch/bin文件夹下
/usr/local/elasticsearch/bin/service/elasticsearch install

安装logstash

下载logstash 1.4.2

tar -xf logstash-1.4.2
mv logstash-1.4.2 /usr/local/
ln -s /usr/local/logstash-1.4.2 /usr/local/logstash

测试logstash

bin/logstash -e 'input { stdin { } } output { stdout {} }'

配置logstash

创建配置文件目录:
mkdir -p /usr/local/logstash/etc

vim /usr/local/logstash/etc/hello_search.conf

输入下面:

input {
  stdin {
    type => "human"
  }
}

output {
  stdout {
    codec => rubydebug
  }

  elasticsearch {
        host => "192.168.33.10"
        port => 9200
  }
}

启动:
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf

安装kibana

注:logstash 1.4.2中也自带了kabana,但是你如果使用自带的kibana安装完之后会发现有提示“Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.”。根据这个帖子这个是自带的Kibana 3.0.1的问题。所以还是自己安装kibana靠谱。

注:现在kibanna可以自带了web服务,bin/kibana就可以直接启动了,建议不用nginx进行配合启动了。

具体可以参考:

http://kibana.logstash.es/content/kibana/v4/setup.html

后记

安装过程碰到很多问题,最多的是版本问题,如果使用不配套的版本,可能会遇到很多问题。所以注意版本一致能绕过很多弯。

http://www.cnblogs.com/yjf512/p/4194012.html

 

时间: 2024-11-27 20:27:19

安装logstash,elasticsearch,kibana三件套(转)的相关文章

安装logstash,elasticsearch,kibana三件套

logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用.推荐直接使用官网的这一套:elkdownloads. 比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2 安装elastics

大数据日志分析logstash\elasticsearch\kibana

elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意:关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用.推荐直接使用官网的这一套:elkdownloads. 比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2 安装elasticsearch 下载elasticsearch 1.4.2 tar -x

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

Nginx+Logstash+Elasticsearch+Kibana搭建网站日志分析

前言   流程,nignx格式化日志成json,通过logstash直接采集到elasticsearch,然后通过kibana gui界面展示分析 要点nignx日志成json格式,避免nignx默认日志是空格,需要正则匹配,导致logstash占过多cpuelasticsearch机配置防火墙,只让指定的logstash机访问kibana只监听本地127.0.0.1使用nignx方向代理,nginx中配置Http Basic Auth账号密码登陆 比较粗略的笔记,备忘安装java um ins

logstash elasticsearch kibana日志集中解决方案

Logstash是一个开源的,可以对分布式环境中的日志进行收集分析的工具. Kibana也是一个开源和免费的工具,他可以帮助汇总,分析和搜索重要日志数据并提供友好的web界面,它可以为Logstash和ElasticSearch提供日志分析的web界面. 下面看看各组件的作用: redis:在这里做一个缓存的机制,logstash shipper 将 log 转发到redis(只做队列处理不做存储).Logstash central 从 redis 中读取数据并转发给 Elasticsearch

Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台

对于ELK还不太熟悉的同学可以参考我前面的两篇文章ElasticSearch + Logstash + Kibana 搭建笔记.Log stash学习笔记(一),本文搭建了一套专门访问Apache的访问日志的ELK环境,能够实现访问日志的可视化分析. 数据源 Filebeat + Logstash 数据源对应Logstash中的Input部分,本文采用Filebeat来读取Apache日志提供给Logstash,Logstash进行日志解析输入到ES中进行存储.Filebeat的配置比较简单,参

Manage Spring Boot Logs with Elasticsearch, Logstash and Kibana

下载地址:https://www.elastic.co/downloads   When time comes to deploy a new project, one often overlooked aspect is log management. ELK stack (Elasticsearch, Logstash, Kibana) is, among other things, a powerful and freely available log management solutio

Docker日志自动化: ElasticSearch、Logstash、Kibana以及Logspout

本文讲的是Docker日志自动化: ElasticSearch.Logstash.Kibana以及Logspout,[编者的话]本文主要介绍了如何使用ElasticSearch.Logstash.Kibana和Logspout技术栈来部署自动化的日志系统. You, too, could Logstash. 快速念五遍这个题目!不过说实话,我其实并不确定该给这篇文章起个什么样的名字才能确保人们可以找到它. 这篇文章是基于Evan Hazlett's article on running the

Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析.目前我们服务的用户包括微博.微盘.云存储.弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志.哈哈 以上都是新浪的信息~不是我们小公司的分析业务规模. 当然为了使得运行在客户端的软件有良好的体验,并且得到有用的数据,我们需要对这些系统产生的数据,进行统计和分析,这个过程通常包括数据采集,清洗,建模,分析,报表等.接下来在本篇文章中,将会构建一个基于logstash,redis,elast