日志平台中心建议

 

 

ES5.4.1
日志集群共有30个节点,监控集群有16个节点。
每天新增400多个索引,最近5天的索引为打开状态,open索引2000+,每天新增数据2.5T,5天约有150多亿条数据,保留三个月(90天)的历史数据
平均每条日志约是0.6Kb
可用性99.99%、丢失率0.6%~3%

ES监控,使用monitoring插件以及cerebro(kopf替代品)
采集端,每个虚机装一个fluentd或者采用log-sender将数据发送到远端。采集端可以任意扩展,不受限制。
如果采集端 数据比较大,可能受限于中转。由于从中转到采集端 有负载均衡,中转可以线性扩展。

 

通知方式,支持短信、邮件、电话

支持异常日志监控、业务监控、系统监控、接口调用情况监控、jvm监控、tomcat监控
kibana可视化,图表功能,既是数据的获取方式aggdsl
将监控配置集成在kibana中,最合适不过了,所见即所得
简化了监控指标的生成方式,可视化配置报警,简单易用
监控平台开发,也降低了难度

可以设置通用指标,快速实施监控报警

kibana5自带上下文查询,但仍需要改进
Custom插件,用户可以自定义一些个性化的东西
Tail插件
Alert插件

 

 

fluentd配置简单,tag概念、插件机制、运行时资源占用小

容器云,可以采用落盘或者不落盘的方式,将日志推送到日志中心,当然,我们主推不落盘的方式

 

.

 

时间: 2024-09-20 05:39:33

日志平台中心建议的相关文章

spring mvc+ELK从头开始搭建日志平台

spring mvc+ELK从头开始搭建日志平台 最近由于之前协助前公司做了点力所能及的事情,居然收到了一份贵重的端午礼物,是给我女儿的一个乐高积木,整个有7大包物件,我花了接近一天的时间一砖一瓦的组织起来,虽然很辛苦但是能够从过程中体验到乐趣.这次将分享从头搭建分布式日志系统,主要是在spring mvc上结合ELK套件实现(之前有些工作由于分工不同由不同的同事来完成,我只是在已经配置好的环境下做开发而已),包含如下这些技术点: spring mvc logback logstash elas

建筑企业BIM私有云平台中心建设与实施

建筑企业BIM私有云平台中心建设与实施 徐迅  骆汉宾  魏然  赵辰光 本文针对建筑企业在传统BIM应用上的弊端,提出了一种BIM私有云平台中心的解决方案.从搭建思路.搭建原理以及基本架构等方面介绍了建筑企业私有云平台框架,并通过风险分析对其可用性进行评估,最后通过一个实施案例对平台的功能模块进行了详细的介绍,反映了建筑企业BIM私有云平台的实施效果,充分体现了BIM私有云平台广阔的应用价值和发展前景. 建筑企业BIM私有云平台中心建设与实施

linux中搭建ElasticSearch-2.x Logstash-2.x Kibana-4.5.x Kafka为消息中心的ELK日志平台

介绍 ELK是业界标准的日志采集,存储索引,展示分析系统解决方案 logstash提供了灵活多样的插件支持不同的input/output 主流使用redis/kafka作为日志/消息的中间环节 如果已有kafka的环境了,使用kafka比使用redis更佳 以下是一个最简化的配置做个笔记,elastic官网提供了非常丰富的文档 不要用搜索引擎去搜索,没多少结果的,请直接看官网文档 采用的ELK/kafka版本 elasticsearch-2.x logstash-2.3 kibana-4.5.1

Sentry 8.17.0 发布,Python 实时日志平台

Sentry 8.17.0 发布了,Sentry 是一个实时的事件日志和聚合平台,基于 Django 构建. Sentry 可以帮助你将 Python 程序的所有 exception 自动记录下来,然后在一个好用的 UI 上呈现和搜索.处理 exception 是每个程序的必要部分,所以 Sentry 也几乎可以说是所有项目的必备组件. 更新内容: Added @mentions to comments Initial (internal) analytics abstraction. Turn

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

开源 VS 商业,消息中间件你不知道的那些事

11月23日,新炬网络中间件技术专家刘拓老师在DBA+社群中间件用户组进行了一次主题为"开源 VS 商业,消息中间件你不知道的那些事"的线上分享.小编特别整理出其中精华内容,供大家学习交流.  嘉宾简介   新炬网络中间件技术专家 曾任职于IBM华南GTS 4年,IBM WebSphere.MQ.CICS产品线技术专家 5年移动运营商(广东移动.浙江移动)运维经验,3年JAVA开发及售后经验 演讲实录   随着云计算的兴起,Docker.微服务的流行,分布式消息队列技术成为云计算平台中

ElasticSearch实战-日志监控平台

1.概述 在项目业务倍增的情况下,查询效率受到影响,这里我们经过讨论,引进了分布式搜索套件--ElasticSearch,通过分布式搜索来解决当下业务上存在的问题.下面给大家列出今天分析的目录: ElasticSearch 套件介绍 ElasticSearch 应用场景和案例 平台架构 下面开始今天的内容分享. 2.ElasticSearch 套件 2.1LogStash LogStash是一个开源的.免费的日志收集工具,属于Elastic家族的一员,负责将收集的日志信息输送到ElasticSe

基于MongoDB的高并发高可用政府云平台架构实践

3月12日下午在阿里巴巴西溪园区,举行了MongoDB杭州用户交流会.微软MSDN特邀讲师徐雷分享<基于MongoDB的政府云平台高并发高可用HA架构实践 >,从自身实践出发,讲述了政府云平台分层.技术栈选型.物理架构.API架构及DB数据库架构的设计思路和方法.   以下内容根据现场分享和演讲PPT整理而成.   学习MongoDB的重要性 目前,几乎所有国内外的互联网大公司都在用MongoDB,学习企业需要的技术很重要.   MongoDB优点   相比较关系型数据库而言,MongDB有两

高可用日志探险——基于 Kubernetes 中的 ELK

本文讲的是高可用日志探险--基于 Kubernetes 中的 ELK[编者的话]本文主要讲述了作者的团队基于 Kubernetes 中的 ELK,构建高可用日志系统的实践,并总结一些过程中踩到的坑和一些对于从头开始搭建的建议,本文也是此系列文章的第一篇,后续文章可持续关注. [3 天烧脑式基于Docker的CI/CD实战训练营 | 北京站]本次培训围绕基于Docker的CI/CD实战展开,具体内容包括:持续集成与持续交付(CI/CD)概览:持续集成系统介绍:客户端与服务端的 CI/CD 实践:开