电商总结(二)日志与监控系统的解决方案

  前一篇文章聊到了小型电商网站的系统架构,然后有朋友问我,里面的日志与监控指的是啥,所以,今天就来聊聊这个问题。

 

  监控系统主要用于服务器集群的资源和性能监控以及应用异常和性能监控,日志管理等多维度的性能监控分析。一个完善的监控系统和日志系统对于一个系统的重要性不必我多说,总而言之就一句话,只有实时了解各系统的状态,才能保证各系统的稳定。

   

  如上图所示,监控平台监控的范围很广,服务器性能及资源,还有应用系统的监控。每个公司都有特定的平台统一监控的需求及解决方案,但是监控平台的任务和作用基本是一致的。

 

  一,日志

  日志是监视程序运行的一种重要的方式,主要有两个目的:1.bug的及时发现和定位,2.显示程序运行状态。正确详细的日志记录能够快速的定位问题。同样,通过查看日志,可以看出程序正在做什么,是不是按预期的设计在执行,所以记录下程序的运行状态是必要的。这里将日志分为两种:1.异常日志,2.运行日志。

  我们主要是使用log4net,将各个系统的日志,持久化记录到数据库或者文件中,以方便后续的系统异常监控和性能分析。如何集成log4net,这里不再说明。

  日志记录的几个原则:

    1. 区分日志级别一定要区分清楚,哪些属于error,warning,info,等,

    2. 记录错误的位置,如果是分层系统,一定要在某个层统一处理,例如,我们的mvc架构,都是在各个action中catch异常,并处理,业务层和数据库层这些地方的异常,都是catch到异常后,往上一层抛。

    3. 日志信息清晰准确有意义,日志尽量详细点,以方便处理。应该记录相关系统,模块,时间,操作人,堆栈信息等。方便后续处理。

 

  二,监控

  监控系统是一个复杂的系统平台,目前有很多的开源产品和平台。不过我们平台小,监控任务和需求少,所以基本都是自己开发,主要有这五个方面:1.系统资源,2.服务器,3.服务,4.应用异常,5.应用性能。

  具体的架构图如下:

  

  1,系统资源监控

    监控各种网络参数和各服务器相关资源(cpu,内存,磁盘读写,网络,访问请求等),保证服务器系统的安全运营;并提供异常通知机制以让系统管理员快速定位/解决存在的各种问题。目前比较流行的应该是zabbix。

 

  2,服务器监控

    服务器的监控,主要是监控各个服务器,网络节点,网关,等网络设备,的请求响应是否正常。

    通过定时服务,定时去ping各个网络节点设备,以确认各网络设备是否正常,,如果哪个网络设备出现异常,则发出消息提醒。

 

  3,服务监控

    服务监控,指的是各个web服务,图片服务,搜索引擎服务,缓存服务等平台系统的各项服务是否正常运行,

    可以通过定时服务,每隔一段时间,就去请求相关的服务,确保平台的各项服务正常运行。

 

  4,应用异常监控

    目前我们平台的所有系统的异常记录,都记录在数据库中。通过定时服务,统计分析一段时间之内的异常记录。如果发现有相关重要的模块的系统异常,比如支付,下单模块,频繁发生异常,则立即通知相关人员处理,确保服务正常运行。

 

  5,应用性能监控

    在api接口和各应用的相关位置进行拦截和记录下程序性能(sql性能,或是 程序执行效率)。相关重要模块提供性能预警,提前发现问题。 同时统计相关监控信息并显示给开发的人员,以方便后续的性能分析。

 

  

 

时间: 2024-09-30 12:59:33

电商总结(二)日志与监控系统的解决方案的相关文章

传统企业进军电商是否该自己开发B2C系统

阿里巴巴的事件引发业内各界人士的疯狂讨论,有揭密的,有为马云的价值观痛下杀手喝彩的,也有为卫哲的勇于承担责任鼓掌的.实际上这个事件最终揭示的是B2B这种商业模式硬伤的一方面,毕竟在电子商务各类模式中,B2B模式在技术含量上确实不高,关于这个我在阿里巴巴收购万网时曾经撰文<万网是阿里巴巴的第几根救命稻草?>详细阐述过.当然这和阿里巴巴这一家公司不具有唯一性,最主要的还是B2B盈利模式的问题,这个问题马云本来是寄希望由卫哲来进行调整和创新的,四年来不仅未有很好的交待,还闹出欺诈客户的事件,于是乎为

背靠中台实现基于大数据驱动的国际化电商架构(二)

一.背景 老生常谈国际化的技术挑战: 1)国际电商面临的是全球消费者,天然延时大: 2)面临国际互联互通的网络质量问题: 3)国际电商技术还将面临如何快速应对合规.政策等问题: 4)需要发展本地化业务来补足消费者需求,而本地化将面临与全球各地的第三方Service Provider对接: 5)全球范围内的灾备: 6)全球数据一致性: 7)竞争环境及很多的不确定性,需要我们快速迭代试错 这些挑战需要我们用智能高效的技术解决方案.另外我们又是一个基于微服务的较轻量级的技术体系,我们容易做架构上的调整

电商总结(七)缓存系统

前段时间,在和朋友讨论和研究缓存的使用,一直对缓存的使用搞的不太清楚,所以这次把和朋友讨论过缓存系统的设计的相关问题总结总结.   对于一个电商系统,缓存是重要组成部分,提升系统性能的主要方式之一就是缓存.它可以挡掉大部分的数据库访问的冲击,如果没有它,系统很可能会因为数据库不可用导致整个系统崩溃.   但是缓存带来了另外一些棘手的问题: 数据的一致性和实时性. 例如,数据库中的数据状态已经改变,但是在页面上看到的仍然是缓存的旧值,直到缓冲时间失效之后,才能重新更新缓存.这个问题怎么解决? 还有

电商价格纳入春节市场监控

本报讯(记者贾中山)昨天,市发改委下发通知,要求加强春节和元宵节期间的市场价格监控,辖区内电子商务网站的价格行为也纳入监控范围.通知要求重点查处电子商务网站不按规定内容和方式明码标价.不履行价格承诺.隐瞒价格附加条件等违法行为. 通知要求对商贸领域.http://www.aliyun.com/zixun/aggregation/31169.html">交通运输价格.旅游行业.烟花爆竹等商品的市场销售价格进行监控,同时要求关注网络购物价格行为,拓展价格监管领域.针对近年来电子商务市场快速发展

印度本土电商Flipkart将关闭旗下支付系统PayZippy

摘要: 9月1日消息,亿邦动力网获悉,印度本土电商Flipkart将要关闭旗下的支付系统PayZippy,原因是PayZippy的表现没能达到Flipkart的预期. 亿邦动力网了解到,Flipkart在去年7月份推出自己的支付 9月1日消息,亿邦动力网获悉,印度本土电商Flipkart将要关闭旗下的支付系统PayZippy,原因是PayZippy的表现没能达到Flipkart的预期. 亿邦动力网了解到,Flipkart在去年7月份推出自己的支付系统,通过单独的子公司运营,为自己平台上的商家提供

【诊断电商之二】中国电商:成也烧钱败也烧钱!

写在前面的话:这是一个<诊断电商>的连载,考虑了很久,不知道从哪里开始写起.中国的http://www.aliyun.com/zixun/aggregation/34462.html">电商发展到今天,可以说已经形成规模,只是太多的电商并没有找到一条正确的路去走.虽说曾有哲人说过,路是走出来的,但回首电商的成长轨迹不难发现,这条路或许通向悬崖,或许通向成功,或许通向地狱--未来的几篇,会涉及几大知名电商的模式及前景分析,望各位提出诚恳意见,而不是一味牢骚.同时,我也欢迎听各位电

电商网站看好灯鹭社会化媒体营销解决方案

引导性销售,被http://www.aliyun.com/zixun/aggregation/37605.html">电子商务营销部门看做是2012年重点的营销方式.各大电子商务网站都在探索社会化媒体营销,二个季度过去了,效果非常明显. 我们采访到的多数电子商务网站,成单状况57%来自电子邮件,20%来自付费搜索,17%来自微博.空间等社会化媒体,并且这一比例正在逐渐提高.从整体广告业来看,广告代理商的整体业务都在逐渐向社会化媒体靠拢. 我们采访到了作为国内社会化媒体营销领头羊企业,灯鹭网

如何打造一个小而精的电商网站架构?

本文大纲: 1. 小型电商网站的架构 2. 日志与监控系统的解决方案 3. 构建数据库的主从架构 4. 基于共享存储的图片服务器架构 5. 移动M站建设 6. 系统容量预估 7. 缓存系统      一.小型电商网站的架构     刚从传统软件行业进入到电商企业时,觉得电商网站没有什么技术含量,也没有什么门槛,都是一些现有的东西堆积木似的堆出来罢了.然而,真正进入到这个行业之后,才发现并非如此.有人说过,好的架构,是演化出来的,电商网站的架构也是如此.现在好的电商网站,看似很复杂,很牛逼,其实也

电商总结(八)如何打造一个小而精的电商网站架构

前面写过一些电商网站相关的文章,这几天有时间,就把之前写得网站架构相关的文章,总结整理一下.把以前的一些内容就连贯起来,这样也能系统的知道,一个最小的电商平台是怎么一步步搭建起来的.对以前的文章感兴趣的朋友可以看这个,http://www.cnblogs.com/zhangweizhong/category/879056.html   本文大纲: 1. 小型电商网站的架构 2. 日志与监控系统的解决方案 3. 构建数据库的主从架构 4. 基于共享存储的图片服务器架构 5. 移动M站建设 6. 系