道旅鬼谷子分享:如何打好业务监控的组合拳

来自 道旅旅游科技股份有限公司 鬼谷子 的撰稿

业务背景

公司由于业务迅速扩展,需要针对业务方面进行定制监控。通过选型最终采用了 ARMS 方案。以下篇幅简单介绍了方案的大致概要以及最终效果,以供读者参考。

选择

以下是几个产品方案的对比。需要解释的是,以下三个产品在我们的架构中都有大量使用,但是只是在本监控方案中,由于一些业务场景的特殊性,我们使用了业务实时监控服务 ARMS,虽然这并不代表 ARMS 是一个银弹。

MaxCompute

我们以前用过 MaxCompute 作周期性的业务数据计算,缺点非常明显,就是延迟性太高,这对于实时监控来说是致命的直接被PASS。

流计算

参加深圳云栖大会的时候了解到流计算如获至宝,也回来尝试使用过一段时间,在实时监控的功能节点上是很重要的一环没错,但太过于细节,导致整条线过程冗长且繁杂,最后也放弃了。

业务实时监控服务 ARMS

一套组合拳,在数据分析、实时计算、报警、API、持久化存储等方面给我们节省了不少时间,也提供了更多的可能性。所以,最终我们选择了 ARMS。

架构

数据源

IIS日志

Windows ECS 安装 Logtail 对 IIS 产生的日志进行实时抓取

业务日志

使用日志服务 SDK 提交日志

实时数据分析

ARMS 的配置分为以下几个部分,由于篇幅原因,仅列出重点,详细内容不赘述。

日志切分

根据规则对日志进行切分、类型转换、字段重组等

数据集

将符合条件的数据进行汇总保存(留待后续分析和监控使用),按需设置报警(邮件、短信)

数据使用

对接 API

通过对接 API,可以对数据集内的数据进行查询,以便后续的业务分析和问题复查

业务分析

实时查询数据集内的结果,根据业务在内存中进行二次计算形成报表

监控

我们做了个 Monitoring 的项目,对接 Grafana 的 Datasource,这样便可以在 Grafana 实时看到数据集内的数据。

使用案例

供应商酒店请求分析 监控

该场景用于我们对供应商酒店请求数的业务监控和事后分析,主要使用方是业务人员。介绍如下:

  • 通过日志服务 SDK 在酒店请求接口中埋点日志
  • 在 ARMS 后台根据供应商 Id,酒店 Id,请求维度等参数配置数据集
  • 对接 ARMS 接口,通过下钻的方式获取到数据。
  • 在内存中根据业务进行二次计算
  • 生成报表

调用第三方接口的 Status Code 监控

该场景用于我们对供应商酒店请求的状态码分析,主要使用方是运维和开发。本方案实现了 ARMS 对 Grafana 的对接,基本介绍如下:

  • 通过 Logtail 实时抓取 IIS 日志
  • 在 ARMS 后台配置好数据集
  • 在 Monitoring 项目中对接 ARMS 接口,并根据 simpleJson 接口规则实现 Grafana Data Source 对接。
  • 为 SimpleJson 的 Search 接口定义 target 规则,并生成 target 与配置对应关系
  • 使用 ARMS 的下钻功能为 SimpleJson 的 Search 接口支持 Templating 功能
  • 在 Grafana 中使用 Moniroing 提供的 simpleJson 接口实现展示数据

点击了解 业务实时监控服务 ARMS

时间: 2024-09-19 03:39:41

道旅鬼谷子分享:如何打好业务监控的组合拳的相关文章

四年打磨,全新公测ARMS终极进化:业务监控实时无边界

作为和企业互联网架构平台 Apsara Aliware"三驾马车"(EDAS/DRDS/MQ)并驾齐驱的又一重磅产品.本文主要从ARMS的诞生背景开始,介绍了ARMS的雏形,着重说明了全新公测的ARMS业务实时监控服务,最后和大家分享了ARMS的五个应用场景并做了ARMS的特点总结. 以下为精彩内容整理:   ARMS助力企业应用实时监控 ARMS特点可以用三个词来形容: 业务:方便快捷的定制能力.与其它平台监控产品不同的是,ARMS直接从业务的元数据开始入手,形成一个监控体系,为了让

EDAS伴侣ARMS终极进化:业务监控实时无边界

作为和企业互联网架构平台 Apsara Aliware"三驾马车"(EDAS/DRDS/MQ)并驾齐驱的又一重磅产品.本文主要从ARMS的诞生背景开始,介绍了ARMS的雏形,着重说明了全新公测的ARMS业务实时监控服务,最后和大家分享了ARMS的五个应用场景并做了ARMS的特点总结.  以下为精彩内容整理:   ARMS助力企业应用实时监控 ARMS特点可以用三个词来形容: 业务:方便快捷的定制能力.与其它平台监控产品不同的是,ARMS直接从业务的元数据开始入手,形成一个监控体系,为了

基于阿里云生态构建网聚宝业务监控系统

伊始 -- 网聚宝业务监控系统 今年网聚宝开始推进服务化进程,我有幸分在架构组,在公司产品服务化的过程中负责业务监控模块.在以前,我们发展工程还未服务化的时候,我们可能只单单关注单个请求的耗时等基本指标,对其作出优化或者业务上的调整,其内容往往也只是一人从顶到底,一人即可了解其中的逻辑层次.但随着服务化的到来以及业务逻辑愈来愈复杂,一个前端 web 层的请求需要调用很多服务才可以完成一次请求,当请求变的比较慢或者发生故障,我们很难看出是哪个服务或者哪台机器发生的问题,所以需要一个监控服务,来快速

北京深思企业现场业务监控与项目管理系统解决方案

方案概述 随着企业信息化工作的不断深入,应用水平不断提高,许多大中型企业对业务监控的要求不仅仅局限于数据资料的搜集,而希望可以用更直观明了的手段监视业务现场发生的各种情况,以便高层直接对现场情况进行决策,对于实现企业的快速反应能力有极为重要的价值,尤其是对于地域范围覆盖全国.全球的企业,通过Internet或其他网络系统实现现场直播式的全程项目监控管理. 深思企业现场业务监控与项目管理解决方案不仅包括普通意义上的数据采集管理和统计分析等基础功能,更重要的是对文档.图片和视频资料进行综合采集和管理

江苏联通打造无忧增值业务监控管理系统

随着电信市场竞争的日趋激烈,电信运营商一直在利用层出不穷的新技术拓展自身的增值业务.江苏联通增值业务部在总部相关机构的组织与指导下,为用户开展了一系列的增值业务,为了保证这些增值业务的开展,联通江苏分公司建设了多套支撑系统.目前增值业务维护共有30多套业务支撑系统,其共同的特点是硬件设备品牌型号多样.运行环境不一.业务系统独立,没有完善的系统监控.统计展现和业务分析的功能,这些工作目前基本靠后台手工完成.随着对前台支持力度的加大,统计分析的工作量不断增加,这造成工作效率低,数据实时性差,系统安全

有道云笔记快捷分享

  相信有很多网友朋友都已经习惯了通过微博去分享自己的生活点滴.而微博中的长微博形式更是可以让网友们抒发自己的观点.如果能通过自己的笔记软件来撰写长微博,想必对于用户来说是非常方便的功能. 有道云笔记就支持这样的功能,不仅可以将笔记一键制成微博,还可以一键发送邮件. 下面我们就来看看有道云笔记的这项功能,首先打开有道云笔记,点击进入一篇笔记,可以在笔记上方的工具选项里看到灰色的微博按钮. 有道云笔记 点击这里的微博按钮就可以轻松将自己的笔记一键制成微博.下面是具体的演示. 有道云笔记分享微博 有

阿里内部分享:大数据业务平台两年发展历程

      这篇文章来自一个公司内部的分享,是自己所服务的业务中数据平台的发展历程,已经讲了有几个月了,最近打算挑几个点拿出来用文章的形式写出来.是自己进入公司以来参与过或者接触过的数据型项目的情况.基本包含了业务数据分析的整个流程.这篇文章纯文字描述,没有任何图呵呵.所以看我需要耐心. 1.最早的数据分析可能就报表 目前很多数据分析后的结果,展示的形式很多,有各种图形以及报表,最早的应该是简单的几条数据,然后搞个web页面,展示一下数据.早期可能数据量也不大,随便搞个数据库,然后SQL搞一下,

CIO经验分享:企业信息化业务与IT之“和”

"和"在<新华字典>中解释为"相安,谐调,平静,平息争端;数学上指加法运算中的得数--"此处取其"相安,谐调"和"加法运算"结果之意,意为以业务和IT谐调进步实现组织的价值目标.信息技术及其衍生应用在最近的几十年迅速发展,其在社会各个领域的广泛应用和渗透,已引起经济和社会生活各方面的重大变革. 任何一个组织的成功,都不能脱离于信息化.但不能单纯依靠没有IT支撑的业务行为来实现,必须依靠业务和IT的"和&q

【Python之旅】第八篇:开发监控软件的思想与流程

 最近两周时间里,一直都在学习监控软件的开发,虽然是简版的,可是在这个过程当中,对于要开发一个监控软件的大概框架和流程还真的学习了很多东西,而且也想,这些知识实在是很难通过看文章或者是书籍能学习得到,只有自己亲自去实践过,我想才可以慢慢体会到这中间的不易吧.而通过这样一个过程,发现自己在这方面的思想枷锁也慢慢地打开,也才慢慢体会到那种乐趣吧.这里,真的是非常感谢Alex老师非常精彩的讲解.     监控软件的大概流程如下:     当然,实际中学习的过程中并没有去监控MySQL或者是ngnix,