监控平台架构设计

花了两个小时设计的高富帅方案(UPP监控平台架构设计)

目录

UPP监控平台架构设计

1.引言

1.1背景

1.2编写目的

1.3定义

2.范围

2.1 系统主要目标

2.2主要软件需求

2.3设计约束、限制

3.软件系统结构设计

3.1.监控方案:

①传统方式:

②改进方式:

③继续改良方式:

④高富帅方式:

3.2软件体系结构

3.2.1结构图

3.2.2功能模块说明

4.主要技术介绍

监控系统搭建

日志拷贝

日志分析程序

5.需要硬件

 

 

UPP监控平台架构设计

1.1背景1.引言

随着接入UPP的销售系统不断增加,接入的网关也不断增加,UPP担任的角色也越来越重要,UPP需要和各种角色进行频繁的交互,同时自身也是需要多个子系统进行频繁的交互来实现各种业务。在这种复杂环境下,一旦发生业务故障或应用、服务器故障,其问题根源和影响面很难准确定位。

 

这样一来,必须要有一个系统,能非常实时的获取与合作伙伴之间、子系统之间的交互状态,按各种需要的维度进行周期性统计,得到各种视角的报表,以供运维和应急人员实时定位故障。 同时它是一个及时的、可靠的、专业的监控平台,对各个销售系统、各个网关、各个关键点进行监控。

 

1.2编写目的

本概要设计文档从总体上把握UPP监控系统设计框架,包括模块划分、监控功能点划分、处理流程和接口设计。

1.3定义

    UppMonitor:统一支付平台监控。

2.范围

2.1
系统主要目标

        构建一个对UPP的综合监控平台,包括服务器监控、应用系统监控、网络监控、数据库监控四个模块。实现对upp的全面监控,出现问题能及时报警,并能准确快速的定位出现问题的故障点,提高运行保障维护效率。并且为领导提供相关的统计与决策分析数据。

2.2主要软件需求

         UPP各项指标监控,故障报警,故障定位,支付效能统计。

2.3设计约束、限制

         无。

3.软件系统结构设计

 3.1.监控方案:

①传统方式:

    

 

传统模式是通过一定数据抽取、清洗、转换、装载等技术获取数据库的数据,再扔进数据仓库里面,接着对数据仓库的数据进行统计处理,达到业务数据监控的效果。

这种方式对于时效性不高的场合比较常用,而对于时效性要求较高的场合不可采用此种方法。需要对这种形式改进。

 

②改进方式:

  

 

改进方式是引入了一个备库,通过某种数据库复制技术把生产库数据复制到备库,然后狂虐备库数据库,进行统计处理,监控业务数据。

这种方式的时效性已经明显提升,并且比较容易维护,只需维护好生产库与备库之间的同步,且监控可以随便查备库数据,不怕影响生产。

 

③继续改良方式:

  

在各子系统链路上,都对每一笔业务、每一次交互有着不同程度的日志记录,通过在每台子系统服务器上部署一个代理agent,以合适的频率将有用的日志传输到日志服务器,日志服务器部署日志分析程序,将分析结果放到数据库,通过sql语句对数据库查询,得到监控报表 。

 

④高富帅方式:

   

 

 

     继续改进方式,通过将日志各个链路应用产生的日志集中传递到计算机集群里进行分析,产出报表。

在各子系统链路上,都对每一笔业务、每一次交互有着不同程度的日志记录,通过在每台子系统服务器上部署一个代理agent,以合适的频率将有用的日志传输到计算集群,实时对所有数据进行计算,产出周期性报表 。

       

 

3.2软件体系结构

3.2.1结构图

3.2.2功能模块说明

 

3.2.2.1服务器监控

         主要监控生产服务器的健康状态。包括cpu占用率、内存占用率、磁盘、进程、端口等各项指标。

      

3.2.2.2应用系统监控

        主要提供应用级别的监控,包括报表的查询、应用异常报警、日志管理、应用运行统计等模块。其中以实时交易走势图效能监控为主,能做到实时地监控支付平台的交易情况。

        

3.2.2.3网络监控

        提供对局域网、外网的监控。其中主要对银行及其第三方支付商的网关的健康进行监控,并能在出现网络问题时及时通知运维人员。

3.2.2.4数据库监控

        对数据库各项指标进行监控。

4.主要技术介绍

监控系统搭建

Struts+spring+Hibernate。

日志拷贝

①植入性JAR包+日志拷贝

②植入性JAR包+socket传输

③Log4j的远程socket模式

④零拷贝技术sendfile

日志分析程序

Swing+java+jdbc

 

5.需要硬件

1、一台A档服务器、两台B档服务器,一台C档服务器。

A档用于apache,部署监控系统前台;

B档用于tomcat,部署监控系统后台;

B档用于日志服务器,存放日志、部署日志分析程序;

C档用于安装Mysql;

时间: 2024-11-10 10:35:01

监控平台架构设计的相关文章

轻松监控上万台服务器:企业运维监控平台架构设计与实践指南

一.Cacti/Nagios/Zabbix/centreon/Ganglia之抉择  1.cacti   Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具.   简单的说Cacti 就是一个PHP 程序.它通过使用SNMP 协议获取远端网络设备和相关信息,(其实就是使用Net-SNMP软件包的snmpget 和snmpwalk 命令获取)并通过RRDTOOL 工具绘图,通过PHP 程序展现出来.我们使用它可以展现出监控对象一段时间内的状态或者性能趋势

基于微服务和Docker容器技术的PaaS云平台架构设计

本文讲的是基于微服务和Docker容器技术的PaaS云平台架构设计[编者的话]在系统架构上,PaaS云平台主要分为微服务架构.Docker容器技术.DveOps三部分,这篇文章重点介绍微服务架构的实施. [3 天烧脑式容器存储网络训练营 | 深圳站]本次培训以容器存储和网络为主题,包括:Docker Plugin.Docker storage driver.Docker Volume Pulgin.Kubernetes Storage机制.容器网络实现原理和模型.Docker网络实现.网络插件.

三:基于Storm的实时处理大数据的平台架构设计

一:元数据管理器==>元数据管理器是系统平台的"大脑",在任务调度中有着重要的作用[1]什么是元数据?--->中介数据,用于描述数据属性的数据.--->具体类型:描述数据结构,数据的具体位置,数据间的依赖关系,数据的处理过程,数据的快照信息等.[2]为何要引入元数据--->实际案例:HDFS中的NameNode节点,Hive的MySql元数据表,MooseFs的Master节点,GFS(Google分布式文件系统)中的Master节点等.--->在大数据处

iOS开发入门:移动平台架构设计

低耦合企业级系统架构设计 我们往往称JavaEE或.Net 开发的产品为"系统",而移动平台(主要是:Android.iOS和Window Phone)开发的产品为"应用"."系统"比较复杂,需要架构设计,而"应用"相对比较简单,这是不是意味着我们不需要考虑架构问题呢? 我 们首先了解一下企业级系统架构设计.软件设计的原则是提高软件系统的"可复用性"和"可扩展性",系统架构设计采用层次划

iOS开发那些事-移动平台架构设计

低耦合企业级系统架构设计 我们往往称JavaEE或.Net 开发的产品为"系统",而移动平台(主要是:Android.iOS和Window Phone)开发的产品为"应用"."系统"比较复杂,需要架构设计,而"应用"相对比较简单,这是不是意味着我们不需要考虑架构问题呢?   我们首先了解一下企业级系统架构设计.软件设计的原则是提高软件系统的"可复用性"和"可扩展性",系统架构设计采用层次

统一监控报警平台的架构设计思路分享

高俊峰(南非蚂蚁),Linux资深技术专家,畅销书籍<循序渐进Linux>.<高性能Linux服务器构建实战>作者,曾就职于新浪.万网,具有多年的自动化运维和管理经验,擅长Linux.集群应用.MySQL.Oracle等方面的系统管理.性能调优,规划设计,实战经验丰富. 目前关注于Hadoop数据平台以及和Hadoop相关的生态系统的运维.监控.部署.优化等技术. 前言 大家好,我是爱维Linux的南非蚂蚁,今天跟大家一起分享如何构建统一的运维监控平台. 谈到运维,监控应该是运维的

建设DevOps统一运维监控平台,全面的系统监控你做好了吗?

随着Devops.云计算.微服务.容器等理念的逐步落地和大力发展,机器越来越多,应用越来越多,服务越来越微,应用运行基础环境越来多样化,容器.虚拟机.物理机不一而足.面对动辄几百上千个虚拟机.容器,数十种要监控的对象,现有的监控系统还能否支撑的住?来自于容器.虚拟机.物理机.网络设备.中间件的指标数据如何采用同一套方案快速.完整的收集和分析告警?怎样的架构.技术方案才更适合如此庞大繁杂的监控需求呢 一.统一监控平台架构解析 先做一下回顾,统一监控平台由七大角色构成:监控源.数据采集.数据存储.数

工业级物联网项目的架构设计及实施

早在1999年就已经有了"物联网"这个概念,但是直到十年之后的2009年,IBM提出"智慧地球"的概念,才推动很多国家把物联网研究和发展提升到战略层面.但是比较遗憾的是,直到现在的2015年,我国的物联网的发展依然主要靠政府项目来拉动,所以现在的发展似乎前景越来越不明朗. 政府似乎意识到这是个问题,在一些互联网公司的倡导和推动下,提出了"互联网+"的概念.虽然"互联网+"和"物联网"都是以网为主,但是发展的

基于MongoDB的高并发高可用政府云平台架构实践

3月12日下午在阿里巴巴西溪园区,举行了MongoDB杭州用户交流会.微软MSDN特邀讲师徐雷分享<基于MongoDB的政府云平台高并发高可用HA架构实践 >,从自身实践出发,讲述了政府云平台分层.技术栈选型.物理架构.API架构及DB数据库架构的设计思路和方法.   以下内容根据现场分享和演讲PPT整理而成.   学习MongoDB的重要性 目前,几乎所有国内外的互联网大公司都在用MongoDB,学习企业需要的技术很重要.   MongoDB优点   相比较关系型数据库而言,MongDB有两