松耦合和紧耦合的架构设计及性能对比

  在最近的一次大数据技术讨论会上,本行业一家公司的技术高管谈到松耦合架构和紧耦合架构的性能表现的话题。正好Laxcus大数据管理系统的设计,从
0.x、1.x到2.x版本,也经历了从紧耦合到松耦合的发展过程。做为亲历者,对这两种架构的设计和运行效果,我们有非常清楚的了解和认识。下面就说一
说这件事。写此博文,也希望给做系统设计的兄弟们,尤其是做高并发、复杂数据计算的同行提供一点参考。

  先说紧耦合,这种架构是我们在Laxcus 0.x、1.x中采用的。如下图所示,紧耦合架构本质是一个Client/Server模型。客户机发起请求给
服务器,服务器收到,根据请求做出应答,然后反馈给客户机。这种架构最典型的应用就是我们每天都用到的WEB服务。优点嘛,就是简单。架构简单、设计简
单、开发周期短、能够快速投入部署和应用。在Laxcus集群的早期运行中,这些特点都得到有力的验证。

紧耦合架构

  但是到了后期,随着Laxcus集群规模的不断扩大,访问量的不断增加,尤其是数据计算量、计算时间成倍数的增长后,紧耦合架构渐渐不堪重负,缺点开始不断暴露出来,主要有以下几个方面:

  1. 无法支持大规模的计算业务。因为大数据业务对计算机资源占比普遍很大,导致多任务并行能力有限。举个例子,我们曾在一台Pentium IV 2.G + 2G的机器上测试一项小规模的数据处理业务。当并行任务量达到100多个的时候,计算机已经发生超载现象。

  2. 计算机载荷无法控制。换句话说,就是计算机不能控制超载现象,而超载对硬件伤害非常大,这会严重降低计算机稳定运行能力和使用寿命。

  3. 任务执行过程中管理难度大。任务在执行过程中不受管控。

  4. 对网络资源消耗大。同步操作在数据发送和数据返回之间,有很大一段是空闲的,这种空闲占用是对网络资源的极大浪费。

  5. 安全控制力度差。因为服务器直接暴露给客户机,容易引发网络攻击行为。

  6. 程序代码之间关联度过高,不利于模块化处理。

  7. 以上现象最终导致系统稳定性变差。

  这
些问题出现后,我们开始考虑修改系统设计。经过多番考量、比较、权衡之后,我们决定改用松耦合架构重新规划系统设计。新框架是在原来
Client/Server模型之上的改进,即在Client/Server模型之间加入一个代理(Agent),把CS模型变成CAS模型。在新的架构
下,客户机的角色不变,代理服务器承担起与客户机通信,和对客户机的识别判断工作,服务器位于代理服务器后面,对客户机来说不可见,它只负责数据处理工
作。另外我们也把CS模型的同步操作改为CAS的代理处理。

  在设计新架构的同时,我们还发现,如果要适应松耦合架构,原来在紧耦合架构下运行的程序代码,因为现在的工作方式发生了发生了变化,它们几乎都要重写。这可
是一个庞大的工程,需要消耗大量的人力、时间去修改和调试。所以我们在松耦合架构之上,结合代理服务器,又设计了一套Invoke/Produce机制。
这是另一种代理方案,是针对数据处理进行抽象化处理和分组分级管理。原来的数据处理和业务逻辑套用这套机制后,程序代码基本不用修改,转移到CAS模型上
运行就可以了。 

 

松耦合架构

  新架构设计和代码修改完成后,我们在原来的集群上,和紧耦合架构做了各种对比测试。结果表现是出其的好,不仅解决了紧耦合架构上存在的所有问题,而且其中很多技术指标还超出了我们的预估,主要表现以下一些方面:

  1. 多任务并行处理能力获得极大提升。同样是上述那个数据处理,紧耦合架构只能支持最大约100多个并行,而转到松耦合架构上,达到了8700多个。这还只是在Pentium IV 2.0芯片上的表现,放到Core 2平台,并行处理任务很轻松地超过10000个。

  2. 实现负载自适应机制。(根据当时运行环境,松耦合架构分配并行工作任务,避免超载现象)。

  3. 实现了运行任务的随机控制。 (松耦合架构对运行中的工作任务进行随机调整和控制,进一步避免了持续超载现象)。

  4. 基本杜绝了网络攻击行为。由于代理服务器的隔绝和筛查作用,同时结合其它安全管理手段,外部攻击在代理服务器处就被识别和过滤掉了,这样就保护了后面的服务器不受影响。

  5. Invoke/Produce机制改善了程序结构的模块化,有利于实现复杂的数据业务处理。

  6. 异步操作减少了网络资源消耗和操作关联。

  7. 综合以上措施,它们共同增强了系统稳定性。

 

  最后用一张表格对两种架构做个对比,做为两种架构性能特点的总结。有关Laxcus详细介绍,请见《Laxcus大数据管理系统》一文。

 
紧耦合架构


松耦合架构


工作方式


同步


异步


程序关联依赖




业务逻辑关系


集中控制


分散控制


设计难度


容易


比较复杂


响应能力



和并行工作量成反比


时效表现


实时


无要求


业务适用范围


简单计算


复杂计算


安全




应用领域


小规模并行处理环境


大规模、超大规模并行处理环境


系统稳定性



 

时间: 2024-09-01 12:02:15

松耦合和紧耦合的架构设计及性能对比的相关文章

正在考虑微服务架构的松耦合?小心这些陷阱!

本文讲的是正在考虑微服务架构的松耦合?小心这些陷阱![编者的话]本文阐述了作者在构建松耦合的微服务架构中遇到的一些挑战,并给出了相应的方法,包括:如何处理多个微服务间共享数据的场景,如何演进微服务API,如何处理微服务安全,以及如何组合微服务等. 微服务是一种新的架构,它使用简单.轻量.松耦合的服务来构建系统,这些服务彼此可以独立开发和发布. 如果你还不了解这些基础概念,请阅读Martin Fowler的文章.如果你想拿它和SOA进行比较,请看Don Ferguson的演讲.Martin Fow

促销保障并不难,架构设计轻松学

买买买的背后 每年的"双十一"或者各种促销和秒杀"会给电商系统带来很多挑战,比如:1. 集中,不论是哪个时间点,一旦有抢购开始,所有的人都集中在那个时间段: 2. 瞬时,每个抢购的东西发放出来之后,会在很短的时间内被抢购到:3. 拥堵,抢购活动在支付的时候经常会出现拥堵现象.那么系统的压力也分为几个层面:页面访问压力,比如"双十一"期间,www.taobao.com的页面访问压力是最大的:业务逻辑处理压力,当我们看到自己想要了解的商品,需要点进去查看商品信

白山云科技:首创“乐高式松耦合”架构 提供像拼积木一样的云分发服务

国内这两年云计算的发展,让很多人看准了其中各个垂直领域的创业方向.相较行内的老牌厂商,白山云科技(以下简称白山)尚处创业阶段.这家成立于2015年4月的国内首家云链服务提供商,以云分发为切入点,为企业客户提供高效数据内容应用与交换的定制化服务.截止到目前,白山已完成B轮融资,已签约包括今日头条.美团.秒拍.搜狐.汽车之家.暴风集团等两百多家大中型互联网企业客户. 所谓"云链"(CCX),是白山率先在中国市场引入的服务,其核心是建立数据与数据的连接,为数据的产生.传输.消费和归档提供完整

针对架构设计的几个痛点,我总结出的架构原则和模式

[编者的话]本文来自Firat Atagun的<架构演化中的软件设计原则>,文中给出了软件架构演化过程中出现的4种经典架构,就每种架构,分析了其主要特点并在几个度量维度给出结论.在文章的最后,Firat Atagun给出了4种架构的多维对比.本文的完整演讲稿是架构演化中的软件设计原则. 1 分层架构 分层架构是最常见的架构,也被称为n层架构.多年以来,许多企业和公司都在他们的项目中使用这种架构,它已经几乎成为事实标准,因此被大多数架构师.开发者和软件设计者所熟知. 分层架构中的层次和组件是水平

走向ASP.NET架构设计第六章:服务层设计(前篇)

本篇主要是为后文做铺垫,所以理论的东西相对而言比较的多一点! 服务层的概述 首先解释一下什么是"服务Service",从广义来讲:只要是你使用了别人的东西,那么你就在使用别人提供的服务.在这里,服务就是指可能被一个或者多个系统使用的核心的业务逻辑,我们可以把服务简单的想象成为一些可供调用的API. 在之前的第四章中,我们讲述了如何组织业务逻辑,第五章讲述了在业务层的设计中可以采用的一些模式.但是还有一个问题需要大家考虑的是:如何把业务层提供给其他的层来调用? 可能认为这个问题有莫名奇妙

架构设计:一种远程调用服务的设计构思(zookeeper的一种应用实践)

在深入学习zookeeper我想先给大家介绍一个和zookeeper相关的应用实例,我把这个实例命名为远程调用服务.通过对这种应用实例的描述,我们会对zookeeper应用场景会有深入的了解. 远程调用是系统与系统之间的通信机制,它的另一种理解就是进程间的通信.做分布式系统的开发,远程调用技术是其核心技术.远程调用技术可以将一组计算机系统形成一个网络系统,对外提供整体服务,那么这一群的计算机系统就构成了一个更大型,性能更高的计算机系统. 我在前面的博客里介绍了一种分布式网站的架构设计,其中就有一

一起谈.NET技术,走向ASP.NET架构设计——第六章:服务层设计(前篇)

本篇主要是为后文做铺垫,所以理论的东西相对而言比较的多一点! 服务层的概述 首先解释一下什么是"服务Service",从广义来讲:只要是你使用了别人的东西,那么你就在使用别人提供的服务.在这里,服务就是指可能被一个或者多个系统使用的核心的业务逻辑,我们可以把服务简单的想象成为一些可供调用的API. 在之前的第四章中,我们讲述了如何组织业务逻辑,第五章讲述了在业务层的设计中可以采用的一些模式.但是还有一个问题需要大家考虑的是:如何把业务层提供给其他的层来调用? 可能认为这个问题有莫名奇妙

简述.NET企业级系统架构设计

.NET设计层面上的体系架构,如1.1图是从设计层面上划分的.NET体系架构. 图 1.1 软件设计的原则是为了提高软件系统的可复用性和可扩展性,我们采用的手段是为应用系统划分层次,这是一种逻辑上的划分不是物理上的划分,也就是这些层可以是在一台电脑上也当然可以分布到在多台电脑上.这些层之间是松耦合的,层的内部是高内聚的.因此,降低耦合是软件设计的目标,能够设计出低耦合的系统,就意味着我们的系统具有可复用性和可扩展性了. 1.1.1 表示层 表示层(Presentation Layer)是用户与系

iOS开发入门:移动平台架构设计

低耦合企业级系统架构设计 我们往往称JavaEE或.Net 开发的产品为"系统",而移动平台(主要是:Android.iOS和Window Phone)开发的产品为"应用"."系统"比较复杂,需要架构设计,而"应用"相对比较简单,这是不是意味着我们不需要考虑架构问题呢? 我 们首先了解一下企业级系统架构设计.软件设计的原则是提高软件系统的"可复用性"和"可扩展性",系统架构设计采用层次划