大数据日志分析logstash\elasticsearch\kibana

elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具

注意:关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用。推荐直接使用官网的这一套:elkdownloads

比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2

安装elasticsearch

下载elasticsearch 1.4.2

tar -xf elasticsearch-1.4.2.tar.gz
mv elasticsearch-1.4.2 /usr/local/
ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch

测试elasticsearch

[root@localhost service]# curl -X GET http://localhost:9200/
{
  "status" : 200,
  "name" : "Fury",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "1.4.2",
    "build_hash" : "927caff6f05403e936c20bf4529f144f0c89fd8c",
    "build_timestamp" : "2014-12-16T14:11:12Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.2"
  },
  "tagline" : "You Know, for Search"
}

安装到自启动项

下载解压到/usr/local/elasticsearch/bin文件夹下
/usr/local/elasticsearch/bin/service/elasticsearch install

安装logstash

下载logstash 1.4.2

tar -xf logstash-1.4.2
mv logstash-1.4.2 /usr/local/
ln -s /usr/local/logstash-1.4.2 /usr/local/logstash

测试logstash

bin/logstash -e 'input { stdin { } } output { stdout {} }'

配置logstash

创建配置文件目录:
mkdir -p /usr/local/logstash/etc

vim /usr/local/logstash/etc/hello_search.conf

输入下面:

input {
  stdin {
    type => "human"
  }
}

output {
  stdout {
    codec => rubydebug
  }

  elasticsearch {
        host => "192.168.33.10"
        port => 9200
  }
}

启动:
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf

安装kibana

注:logstash 1.4.2中也自带了kabana,但是你如果使用自带的kibana安装完之后会发现有提示“Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.”。根据这个帖子这个是自带的Kibana
3.0.1的问题。所以还是自己安装kibana靠谱。

注:现在kibanna可以自带了web服务,bin/kibana就可以直接启动了,建议不用nginx进行配合启动了。

具体可以参考:

http://kibana.logstash.es/content/kibana/v4/setup.html

时间: 2024-10-31 09:29:32

大数据日志分析logstash\elasticsearch\kibana的相关文章

大数据日志分析项目架构

老是弹出由于您编辑时间过长,页面和服务器之间的连接已断开,请先将文章内容另外保存,再刷新本页面继续编辑让我保存页面我也是醉了,图片多没法一次上传,上传图片还一直失败,我只好都放在一个附件里面了.阿里能花点心思把网址做好一点么 共两个开发项目,git地址:https://github.com/dengziming/hongya-report.git,https://github.com/dengziming/hongya-taobaopayment.git 项目简介:大数据涉及到的业务很多很复杂,

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

安装logstash,elasticsearch,kibana三件套

logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用.推荐直接使用官网的这一套:elkdownloads. 比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2 安装elastics

安装logstash,elasticsearch,kibana三件套(转)

logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用.推荐直接使用官网的这一套:elkdownloads. 比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2 安装elastics

IBM:中国大数据与分析事业部2016年三大重要举措

3月24日,IBM(NYSE:IBM)中国大数据与分析事业部宣布在2016年发布三大重要举措:隆重推出"云数据服务超市".拓展The Weather Company至中国市场,认知能力注入行业.IBM将与中国行业用户.合作伙伴.开发者.数据科学家一道,通过构建强大的数据与分析能力快速步入认知商业的时代. IBM"云数据服务超市" 新开发平台和云计算的结合以及开源数据工具的激增催生了新的计算服务模式--云数据服务.这些下一代平台让所有人包括数据科学家.软件开发者.大众

【独家科普】揭秘大数据的分析方法

  编注:"大数据文摘"的很多读者亲友,一些纯粹的大数据爱好者,甚至有一部分企业管理者经常在后台向我们建议,希望我们能把大数据的分析系统做一个简单的介绍,不要"只见案例,不见原理".于是Larry就自告奋勇来为大家做一个科普,带领读者亲友们一探究竟,让我们来揭开大数据推荐系统神秘的面纱!   说到大数据,神马根据数据进行精准营销啊,神马更了解你的客户啊,神马啤酒尿布超市推送商品预测怀孕亚马逊预测式发货等等,你谷歌百度搜狗有道一气,都是说推荐系统如何如何牛逼的,但是没

2016年中国智能交通产业的大数据应用分析

中国大数据产业起步晚,发展速度快.物联网.移动互联网的迅速发展,使数据产生速度加快.规模加大,迫切需要运用大数据手段进行分析处理,提炼其中的有效信息.2014年,中国大数据市场规模达到767亿元,同比增长27.8%.预计到2020年,中国大数据产业规模将达到8228.81亿元.2015-2017年复合增长率为51.5%.2014年,中国大数据应用市场规模为80.54亿元,同比增长3.2%,2015年市场规模约增长37.3%,至110.56亿元,预计到2020年,中国大数据应用市场规模将增长至50

永洪科技CEO何春涛:大数据底层分析

4月17日-18日,由iResearch艾瑞咨询集团主办的第九届艾瑞年度高峰会议在北京国家会议中心成功举办.以"守正出奇.融合创新"为主题的本届峰会,汇聚了互联网.新经济.科技相关领域的企业领军人物,一起畅谈行业热点话题,洞察科技走势,共同见证和推动互联网行业的变革与发展.  以下是永洪科技CEO何春涛的演讲实录: 何春涛:谢谢大家!刚才听到各位嘉宾分享的内容,多数都是关于大数据的应用这块,我们公司可能主要是做大数据工具的工作,非常感谢艾瑞能够邀请我们过来做分享. 这是我们的情况,我们

盘点:55个最实用大数据可视化分析工具

文章讲的是盘点:55个最实用大数据可视化分析工具,近年来,随着云和大数据时代的来临,数据可视化产品已经不再满足于使用传统的数据可视化工具来对数据仓库中的数据抽取.归纳并简单的展现.传统的数据可视化工具仅仅将数据加以组合,通过不同的展现方式提供给用户,用于发现数据之间的关联信息.新型的数据可视化产品必须满足互联网爆发的大数据需求,必须快速的收集.筛选.分析.归纳.展现决策者所需要的信息,并根据新增的数据进行实时更新.因此,在大数据时代,数据可视化工具必须具有以下特性: (1)实时性:数据可视化工具