用python和redis构建高性能监控平台思路与框架升级过程

关于python应用监控平台的话题

先说明,这不是人人业务的监控框架,是我在上一家公司,我所在部门的监控框架。。。

刚入行的时候,对于监控方面,用的是nagios和cacti。 两个都很强大的监控平台,可扩展性也都很不错。要是想用一个平台实现报警和性能信息的展示的话,他俩都需要加点东西。两个的合体可以考虑zabbix。操作和理解都挺简单的。唯一让人不爽的是存在myql里面,国外有个老外可以改到我钟爱的mongodb里面,但是我看不懂,也没有操作成功。。。 php  这个真不会。。。

后来到了大公司后,才发现他们的监控用的多种多样。。。比如业务数据的收集,他们用的更多的是ganglia、graphite之类的产品。监控的话,更多的是自己开发,或者是针对业务对开源的产品二次开发。  基本是这两种。。。

我从去年开始接触公司监控平台的项目,说来做监控平台有段时日啦。

我们的框架一改再改。。。。 我把平台的升级过程和原因给大家说下。

源地址 :  http://rfyiamcool.blog.51cto.com/1030776/1272629

最开始监控的框架:

用gevent撑起并发,redis的mq通信,bottle做的web,mysql做的库,微信做的报警。

时间: 2024-09-12 23:57:24

用python和redis构建高性能监控平台思路与框架升级过程的相关文章

如何用阿里云Redis构建高性能在线广告系统

摘要 本文主要介绍在线广告系统,以及如果使用阿里云Redis方便快捷的构建大数据量,低延迟的在线广告服务. 背景 在线广告作为互联网最主要的盈利模式之一,支撑着互联网行业的发张.早期的在线广告主要是展示广告,和在报纸,期刊上刊登广告相似.通过建立个性化数据,Google推出了AdSense产品,通过AdSense的合作网站,采集到访客在这些网站的访问足迹,并利用这些数据提高其广告的相关性:以Facebook为代表的社交网络由于具备了完善的用户个性化数据,利用这些数据,网站可以将定向技术使用到展示

Centos下构建Nagios监控平台提示无权限访问nagios

今天在搭建Nagios监控平台时,发现正常配置完成后,首先无法打开apache默认页面,其次报"You don' t have permission to access /nagios/ on this server",由于刚刚开始搞Linux ,也不是太熟悉,而且 Nagios也是刚开始学习怎么搭,所以在搭建时有时经常会遇到莫名其妙的问题,但是当时非常奇怪,和之前的 两个监控平台的配置和安装方法一样,怎么会报这种错误呢? 没办法,推倒重新搭整个服务器?好像 这个不是个好方法,最好的方

针对强制网吧安装捆绑了商业软件的监控平台的质疑

据<云南信息报>报道针对强制网吧安装捆绑了商业软件的监控平台的质疑,云南省文化厅16日回应称,监控平台开发费用巨大,所以选择政企合作模式,监控平台的安装是免费的. 据<工人日报>此前报道,云南省文化厅2009年下发文件要求安装"矮哨兵"http://www.aliyun.com/zixun/aggregation/23101.html">监控软件,作为文化厅的网吧监控平台.今年"矮哨兵"升级,文化厅再次发文强制安装其捆绑的&q

轻松监控上万台服务器:企业运维监控平台架构设计与实践指南

一.Cacti/Nagios/Zabbix/centreon/Ganglia之抉择  1.cacti   Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具.   简单的说Cacti 就是一个PHP 程序.它通过使用SNMP 协议获取远端网络设备和相关信息,(其实就是使用Net-SNMP软件包的snmpget 和snmpwalk 命令获取)并通过RRDTOOL 工具绘图,通过PHP 程序展现出来.我们使用它可以展现出监控对象一段时间内的状态或者性能趋势

【问底】许鹏:使用Spark+Cassandra打造高性能数据分析平台(二)

[导读]笔者( 许鹏)看Spark源码的时间不长,记笔记的初衷只是为了不至于日后遗忘.在源码阅读的过程中秉持着一种非常简单的思维模式,就是努力去寻找一条贯穿全局的主线索.在笔者看来,Spark中的线索就是如何让数据的处理在分布式计算环境下是高效,并且可靠的. 在对Spark内部实现有了一定了解之后,当然希望将其应用到实际的工程实践中,这时候会面临许多新的挑战,比如选取哪个作为数据仓库,是HBase.MongoDB还是Cassandra.即便一旦选定之后,在实践过程还会遇到许多意想不到的问题. 要

基于表格存储的高性能监控数据存储计算方案

概述         随着软件架构的愈发复杂,了解系统现状.调查问题的困难度也增加了很多.此时,一套完善的监控方案能够让开发和运维工程师快速排查问题,更好的维护系统的稳定性.        开源监控方案中,Zabbix.Nagios都是不错的监控软件,可以针对数十万的设备监控数百万的指标,强大的功能让开发和运维都很赞叹.但是,网上经常看到的抱怨是其写入和存储能力的不足,以Zabbix为例,文章[1]提到使用NoSQL方案(HBase.Cassandra.Riak)比利用传统RDBMS方案(MyS

如何基于Spark Streaming构建实时计算平台

1.前言 随着互联网技术的迅速发展,用户对于数据处理的时效性.准确性与稳定性要求越来越高,如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战. 自2015年携程实时计算平台搭建以来,经过两年多不断的技术演进,目前实时集群规模已达上百台,平台涵盖各个SBU与公共部门数百个实时应用,全年JStorm集群稳定性达到100%.目前实时平台主要基于JStorm与Spark Streaming构建而成,相信关注携程实时平台的朋友在去年已经看到一篇关于携程实时平台的分享:

英特尔-南瑞集成瑞腾高性能数据平台再启数据中心管理方案创新

为进一步推动传统企业转型升级,英特尔公司于今天在北京举办了主题为"携手创新 共铸未来"的英特尔-南瑞集成自主创新瑞腾高性能数据平台客户暨媒体沟通会.来自英特尔与来自南瑞集成的领导和嘉宾分别解析了在"互联网+"时代下传统企业对于IT需求的变化,以及双方携手打造的瑞腾高性能数据平台的技术亮点与应用优势,并针对数据中心运营管理解决方案的建设签署了战略合作备忘录.与此同时,来自国家电网公司的开发商代表则就目前国网一级部署系统面临的挑战,以及如何利用瑞腾数据平台来解决大数据量

省时省事省力 巧用阿里ECS D1构建大数据处理平台

随着人们逐渐认识到 "大数据"的价值,互联网.电商到金融业.政企等各行业开始处理海量数据.如何低成本.敏捷高效地搭建大数据处理平台,成为影响大数据创新效率的关键.   为了让用户以最简便地方式享用阿里云全球云资源,在云端构建敏捷弹性.高可靠和高性价比的大数据平台,阿里云在云栖大会·成都峰会上正式推出了Hadoop/Spark场景专用的ECS存储优化型实例D1规格族,充分满足泛互联网行业.金融.电商.政企等行业等搭建大数据存储与计算分析平台的要求,真正意义上做到了"省时省事省力