关于如何设计一个基于事件驱动架构的思考

最近一直在思考一个问题:有没有这样一种可能,就是一个领域模型的状态不依赖于外部,它只负责接收外部的事件,然后根据这些事件做出响应;响应分两种:

  1. 根据模型当前的内存状态进行业务逻辑处理,然后产生事件,注意:这个过程不会改变模型当前的内存状态;
  2. 根据事件改变自己的状态;

另外,也是最重要的,领域模型不用关心自己所产生的事件到底怎么样了,比如不关心有没有持久化,不关心是否和别的事件有并发冲突。它只管根据自己当前的内存状态做上面这两点的响应;

如果这样的设想有可能,那领域模型就是真正的中央业务逻辑处理器了,和CPU很类似了。这样它才能真正快起来。

简单的说就是:事件->模型->事件
模型只管响应事件,然后响应处理,然后产生新的事件

领域模型就是一黑盒,它只能帮你处理业务逻辑,其他的什么处理结果它一概不关心;当然,领域模型肯定有它自己的状态,但这个状态是驻留在内存的,和领域模型是一体的。

我为什么会有这个想法是因为,我在想,为什么要让领域模型的处理逻辑依赖于它的处理结果是否被正确顺利持久化了?感觉这很荒唐。
既然领域模型有自己的内存状态空间,他的所有逻辑也应该只依赖于这个状态空间,不再依赖于其他任何外部的东西。

当然,以前我们设计的IRepository,实际背后都是直接从数据库取。这样的话,领域模型的状态空间就是数据库了。但是这样其实很不好,为什么不用内存作为领域模型的状态空间呢?

现在再想想LMAX就是我刚才的想法的一个实际例子。

事件->模型->事件,这样的设计,理论上并不需要必须要求单线程来访问模型,因为领域模型不依赖于任何外部的状态,只依赖于自己所在存活内存空间;单线程有一个很大的好处就是可以防止并发冲突的产生。我们其实完全支持多线程或集群的方式,只不过这样会有可能访问到的领域对象的状态是了老的,因为不同的机器之间的领域模型内存对象的状态需要做一些同步,访问到老数据的可能性的大小取决于并发的大小以及机器之间数据同步的快慢;
LMAX之所以用单线程,是考虑了,这单线程的领域模型和性能之间,性能已经非常高其足以达到他们的要求了。

这样的架构,我觉得领域模型中的任何一个对象的一次完整的状态更新至少会响应两个事件,举个例子:

  1. 先响应ChangeNoteCommand(command也是一种事件,可以理解为NoteChangeRequested),然后Note模型产生一个NoteChanged事件,注意,此时模型自己的状态还未改变,此时只是先产生了一个事件表示什么事情发生了;
  2. 然后该事件(NoteChanged)最终又被发送到领域模型让其响应,此时,领域模型才去更改自己的Note状态并将最新状态保存到自己的内存空间,如一个dict中或redis中;

经过对这两个事件的响应,才完成了Note的最终状态的修改;而我们以前都是从数据库取Note,然后更改,然后保存到数据库。这样不慢才怪!

通过上面的两次事件响应,可以换来领域模型对事件的极快的响应,因为完全无IO。
剩下的我们只要考虑(我目前考虑了以下六个问题):

  1. 消息的序列化和反序列化;
  2. 消息传递的速度;
  3. 事件持久化的速度;
  4. 并发冲突后重试的设计;
  5. 消息丢失了怎么办;
  6. 集群部署时,各台服务器之间内存的同步如何实现;

需要明白的是:这些都不是领域模型该考虑的问题。这些外围的任何问题,都不要让领域模型自己去考虑,我们应该对出现的各种问题逐个寻求解决方案。

每个问题的解决方案我大概理了下我的对策:

  1. 消息的序列化和反序列化:这个简单,用BinaryFormatter,或更快的开源序列化组件,对于事件这样大小的对象可以达到每秒10W次每秒;
  2. 消息传递的速度:用MSMQ/RabbitMq,等带持久化功能的队列组件;如果嫌太慢,就用ZeroMq(无消息持久化功能),但可以达到30W消息每秒;
  3. 事件持久化的速度:由于事件都是跟着单个聚合根,所以我们只要确保单个聚合根的事件不会冲突(即没有重复的版本号的事件);为了更快的持久化,我们可以对事件按照聚合根或者其他方式进行分区存放,不同的服务器存放不同的聚合根的事件;这样通过集群持久化的方式可以实现多事件同时被持久化,从而提高整体的事件持久化吞吐量;如单个mongodb server每秒持久化5000个,那10个mongodb server就能每秒持久化5W个;
  4. 并发冲突后怎么办:一般来说就是选择重试,但为了确保不会出现不可控的局面(可能由于某种原因一直在重试,引起消息堵塞),那需要设置一个最大的重试次数;超过最大重试次数后不再重试,然后记录日志,以供以后查找问题;这里的重试的意思是:重新找到对应该事件的command,然后再次发送该command给领域模型处理;
  5. 消息丢失:丢失就丢失了呗,呵呵;要是你觉得消息决不能丢失,那就用可靠的带持久化功能的消息传输队列,如MSMQ;当然,就算消息丢失了,我们很多时候都要想想有没有影响的,一般来说,消息丢失,至少我们是知道程序有问题了的,因为模型的状态此时一定是不对的。我们可以通过在消息发出时和接收时记录日志,这样方便以后查找消息是在哪个环节丢的;
  6. 任何其他的异常出现,这个我觉得如果都是托管代码,那可以在必要的地方加try catch,然后记录日志。至于是否要重试,还要看情形;
  7. 另外,如果是多线程访问模型,或集群访问,那很多时候访问到的内存的领域对象的状态都是老的,那怎么办?其实这不是问题,因为事件持久化的时候会被检测到这种并发重复,然后对应的command会被重试。
  8. 如果一个事件被成功的持久化了,那如何让各台应用服务器知道?这个我觉得也简单,就是当事件持久化完成后,通过zeromq publish给所有的应用服务器,每台应用服务器都有一个后台的线程在不停的接收已被成功持久化了的事件,然后根据这些事件更新自己内存空间中的领域对象的状态。这一步完全可以由框架自动做掉;这里相当于我上面提到的第二个事件(NoteChanged)是由框架自动处理的,不需要用户写代码干预;前面说到,因为是publish-subscribe模式,所以各台应用服务器上的数据就会自然保持同步了;

另外,这种架构,传输的是事件,事件都是很小的,所以不用担心消息传输的性能。

对于以上的想法,有人有下面的两点担心:

  1. 事件是否就是解决当前复杂软件架构的银弹?
  2. 系统中如果出现海量的事件是否会出现另一种灾难?

我记得不知道是谁说过,OO的本质就是消息通信。command也好,event也好,或者直接的方法调用也好,本质上都是对象与对象之间的消息通信。

方法调用太生硬(这点我记得你曾今也提到过,当然我觉得聚合内很适合用方法调用来实现聚合内的对象的通信)
command, event本质上都是通过message作为媒介,实现对象与对象之间的通信。这让我想起有一位高人曾经说过的一个比喻,下面是摘录的他的原话:

“现在的SOA、ESB之类的东西是不是就像打造一个企业的“神经脉络”,而“OO”是不是就像“神经元”,它们之间的通讯就是靠生物电脉冲,这就是消息驱动。”

所以,我在想,软件实现用户的需求,是不是也应该有很多的对象以及很多的消息(event)这两样东西作为核心组成,对象相当于神经元,消息相当于生物电脉冲。整个软件在运行过程中就是这样一个由对象以及消息组成的网络。

至于复杂性,我觉得框架可以帮我们实现消息通信的部分,而我们程序员要做的就是定义对象结构,然后让对象具有发送消息和接收消息的行为功能。我觉得这点并不是很复杂吧!

最近我一直在努力实现我这个想法,因为我师兄说:“我现在不相信什么架构,just show me the code”。

有想法和能实现出来是两回事,你有多少能力,你的设计能力,对细节的把控能力,程序员内在素养,一看代码便知,呵呵。

有人回复说:事件本身没有错,我想强调的是“事件”的定位问题。“事件”是一个界与另一个界交互的方式,但界是分层次的。用人体比喻很好理解,细胞之间的事件,组织之间的事件,器官之间的事件。构建这样的事件体系是非常复杂的,目前的技术很难达到,不是一个EventBus就可以解决的。

针对上面的说法,我觉得这里主要还是一个编程思路的转变问题。事件驱动天生是一种异步编程。我之所以想自己搞一个这样的框架,主要是因为:

  1. 事件驱动的编程模型让model不在有任何负担,让model只面向in memory,从而实现高性能不是梦了;
  2. 事件的version机制让我们方便的实现乐观并发,确保单个聚合根内强一致,聚合根之间最终一致;然后配合框架自动实现的重试功能,可以在并发冲突后自动重试,这样极大避免command的执行失败率;
  3. 事件数据不是关系型数据,所以事件产生者和处理者都可以多个,这意味着我们做集群非常容易,且事件的存储可以任意拆分,只要确保同一个聚合根的事件放在一起即可,不同聚合根的事件理论上都可以放在不同的服务器上,这样我们持久化事件也可以并发,我们只要对聚合根id+commitSequence这两个字段建立唯一索引即可。从而克服事件持久化(IO操作)慢的瓶颈;

在这么多诱人的特性面前,我们还有什么说不的理由呢?困难不要紧,我们可以一步步来,呵呵。总比没有想法好,你说呢?

-------------------------------------------------------------------------------------------------------------

目前就想到这些。后续再完善思路。

 

知识决定命运,学习积累知识,而正确的思维方式是一切高效学习的基础。所以学会如何清晰地思考问题是非常重要的!

 

呵呵!

时间: 2024-09-12 14:03:34

关于如何设计一个基于事件驱动架构的思考的相关文章

设计一个基于CSS的网页模板

css|模板|设计|网页 这是一个教你如何一步一步学习建立基于CSS制作网站的开始,这个教程将由几个部分组成.第一部分是讲述如何在photoshop中制作导航按扭的:第二部分将讲述背景的制作,再下一个是讲述标题(header)和页面的设计规划的,在最后是CSS和XHTML的应用的执行.现在也许有些人想知道为什么在我的教程里要以导航按扭的制作来开始,呵呵,其实我最初的目的是要讲述一段关于这些简单按扭的制作方法的小教程的,但是即然这个想法开始了,为什么不做一个全面的讲解呢!建立一个像玻璃面一样的导航

想设计一个c/s架构工程,求经验!!!!!

问题描述 小弟以前是搞C#b/s(webFORM)的,感觉webFORM有很多瓶颈,现在想往c/s(winForm)发展,想通过自编项目边做边学,我的项目大概架构如下:程序功能说明:主要是对网络上各新闻网站RSS的收集,整理,浏览服务器端:有机收集数据并存储,以备用客户端:多用户,每个用户根据权限实现浏览及对浏览内容的定制及向服务器端上报认为好的RSS个人想通过以下手段完成该工程:用VS2005+VisioEA+SQL2000由于对c/s架构程序不了解,不知道该如何下手,请各位朋友指教,最好有相

hurlex 一个基于x86架构的简单内核实现

博客很久都没有更斯了,因为一直在忙于一个小项目的开发. 事情的起因是这样的:因为今年开设了操作系统课程,但是纯粹的理论学习始终给我一种漂浮在云中的感觉.为了能在实践中深刻理解操作系统的运行机制和x86CPU以及硬件原理,我决定自己动手写一个操作系统内核的Demo程序. 当然,一开始没有相关的基础自然要找资料去学习.在翻阅了于渊的<Orange's 一个操作系统的实现>和川合秀实先生的<30天自制操作系统>后感觉这两本书都不是很适合初学者学习.前者体系略乱且在一开始就陷入了硬件机制的

ENode 1.0 - 事件驱动架构(EDA)思想的在框架中如何体现

开源地址:https://github.com/tangxuehua/enode 上一篇文章,我给大家分享了我的一个基于DDD以及EDA架构的框架enode,但是只是介绍了一个大概.接下来我准备用很多一篇篇详细但不冗长的文章介绍每个点.尽量争取一次不介绍太多内容,但希望每次介绍完后都能让大家知道这个小点的设计思想,以及为了解决的问题. 好了,这篇文章,我主要想介绍的是EDA思想在enode框架中如何体现? 经典DDD的基于领域服务的实现方式 一般的应用程序,如果一个用户动作会涉及多个聚合根的修改

Vertica: 基于DBMS架构的列存储数据仓库

介绍 Vertica(属于HP公司),是一个基于DBMS架构的数据库系统,适合读密集的分析型数据库应用,比如数据仓库,白皮书中全名称为VerticaAnalytic Database.从命名中也可以看到,Vertica代表它数据存储是列式的,Analytic代表适合分析型需求,DB代表本身是数据库,支持SQL. 优势 和传统关系型数据库系统以及其他列式数据(仓)库相比,Vertica存在下面三点最关键的优势.   列存储 Vertica对磁盘上的数据采用列式存储,显而易见,列存储可以在数据读取的

一个基于UDP数据广播的局域网络会议程序

简介: 本文介绍了网络通讯中通用的传输控制协议(TCP)和用户数据包协议(UDP),并 且利用Java语言设计了一个简单的基于UDP 数据广播的局域网络会议程序,展示了 在Java语言中进行UDP 数据发送和接收的一般步骤.由于Java语言卓越的跨平台特 性,本系统能够不加修改的运行在Windows, Linux, Mac OS等一系列不同平台上. 介绍 随着网络技术的普及,网络会议在公司.企业和单位中的应用也越来越广.一 个网络会议系统通常包括一个服务器程序和一个客户端程序.其中服务器端负责进

基于事件驱动的DDD领域驱动设计框架分享(附源代码)

补充:现在再回过头来看这篇文章,感觉当初自己偏激了,呵呵.不过没有以前的我,怎么会有现在的我和现在的enode框架呢?发现自己进步了真好! 从去年10月份开始,学了几个月的领域驱动设计(Domain Driven Design,简称DDD).主要是学习领域驱动设计之父Eric Evans的名著:<Domain-driven design:领域驱动设计:软件核心复杂性应对之道>,以及另外一本Martin Flower的<企业应用架构模式>,学习到了不少关于如何组织业务逻辑方面的知识.

[译] 理解 NodeJS 中基于事件驱动的架构

本文讲的是[译] 理解 NodeJS 中基于事件驱动的架构, 原文地址:Understanding Node.js Event-Driven Architecture 原文作者:Samer Buna 译文出自:掘金翻译计划 译者:刘德元 薛定谔的猫 校对者:bambooom zaraguo 理解 NodeJS 中基于事件驱动的架构 绝大部分 Node.js 对象,比如 HTTP 请求.响应以及"流",都使用了 eventEmitter 模块来支持监听和触发事件. 事件驱动最简单的形式是

基于Renascence架构的SQL查询引擎设计

基于Renascence架构的sqlite查询优化 sqlite查询优化方案是一开始是在Hw时设计的,但当时只实现一些简单case,并未完成sql的普遍支持.后面考虑到这可以做为 Renascence 架构的一个实验场景,因此将其方案做了一番修改,代码也重写了一遍,现在做成一个能支持普通sql查询的demo. sqlite架构 参考:http://wiki.dzsc.com/info/7440.html sqlite是移动设备广泛使用的轻量级数据库引擎.它主要由前端--虚拟机--后端三部分组成,