DTS开发记录(7)-- 灵活的引擎 IAgileEngine

    数据引擎是数据传递系统(DTS)的核心,正如游戏引擎是PC游戏的核心一样。
    IAgileEngine从目前手上的DTS系统中不断的重构完善出来,虽然IAgileEngine已经不局限于在本DTS系统中使用,但是,我还是打算在这个系列文章中来介绍它。

    正如,任何事物都有最简单的雏形,IAgileEngine也是一样。DTS系统最初的引擎也是一个非常简单的引擎,随着功能不断的加入、完善,我们不断地对其重构,使其满足新的需求。终于,它慢慢地成长,这种成长的结果也是我最初没有意料到的,它已经可以在任何有类似需求环境的引擎系统中使用。这是重构带来的好处,组件在重构中成长,正是因为重构,组件才会保持生命力和可用性--这是题外话了。

    最初的引擎是一个单独的组件,由于功能不断的扩展、完善,这个组件变的巨大起来,不易维护和变动。于是,我尝试分解这个引擎组件,希望能将这单个组件分解成一系列小组件的组合,并且根据不同的组合,能够使引擎产生不一样的功能、特性。我把分解得到的小组件称为引擎环IEngineTache。

    于是,我们已经大致可以看到这个IAgileEngine的外貌了。IAgileEngine由一系列可拆卸的引擎环(IEngineTache)组装而成,每个引擎环负责一个相对独立的任务。由多个引擎环组装IAgileEngine的过程可以是动态的,可以根据配置的需求、当前的环境来动态的决定采用哪些引擎环来构造引擎。

    组装好的IAgileEngine就拥有了一个顺序的引擎环链,它们环环相扣。当引擎启动后,将按照组装的顺序逐个调用引擎环,如果某个引擎环执行失败,那么后续的引擎环将不再执行(除非有特殊需求的引擎环,后面我们将看到这种引擎环)。

    我们先来看看引擎环IEngineTache的样子:

    IsActive属性用于表明当前引擎环是否处于执行状态;Title属性表明当前引擎环在执行的任务名称。MessagePublished事件是该引擎环通知给用户当前正在执行的需要用户了解的细节;IgnoredMessagePublished事件是该引擎环通知给用户当前正在执行的可以被用户忽略的细节;ProgressPublished事件表明了当前引擎环的执行进度。
    Pause、Continue、Stop分别表示暂停、继续、停止的功能。而Excute方法将启动引擎环的执行。Excute方法签名如下:

    bool Excute(out string failureCause);

    如果引擎环执行失败,将返回false,并通过out参数failureCause说明失败的原因。

    现在我们考虑这样一个问题,如果下游的引擎环需要用到上游引擎环提供的数据,该如何做了?答案是IEngineTacheUtil。这是一个公共的容器,提供许多插槽,上游的引擎环将数据存放到插槽中,下游的引擎环从对应的插槽中取数据。引擎环通过Initialize方法
来接收 IEngineTacheUtil引用。
    下面是IEngineTacheUtil的类图:

    在介绍完引擎环后,我们可以正式介绍IAgileEngine了:

    PartProgressPublished事件即简单地传递了引擎环的ProgressPublished事件,MessagePublished事件和IgnoredMessagePublished事件也是简单地传递了引擎环的同名事件。TitleChanged事件在更替正在执行的引擎环时触发,它将即将进入执行状态的引擎环的Title属性发布给外界。当引擎执行过程中出现异常而失败时,触发TransferDisruptted事件,该事件参数说明了失败原因,这个原因就是前面提到的IEngineTache.Excute方法的out参数的值。

    另外,我们可以想到,实现IAgileEngine的组件也是实现IEngineTacheUtil接口的一个不错的选择。下面我们重点来关注IAgileEngine的实现AgileEngine组件的Initialize方法和Excute方法。
    下面是Initialize方法的实现:

        public void Initialize(IList<IEngineTache> tacheList, bool has_NecceryEnder)
        {
            this.hasNecceryEnder = has_NecceryEnder;
            this.engineTacheList = tacheList;
            this.InitializeEventHandler();

            foreach (IEngineTache tache in this.engineTacheList)
            {
                //传递IEngineTacheUtil引用
                tache.Initialize(this);
                
                //传递事件
                tache.IgnoredMessagePublished += new CbSimpleStr(tache_IgnoredMessagePublished);
                tache.ProgressPublished += new CbProgress(tache_ProgressPublished);
                tache.MessagePublished += new CbSimpleStr(tache_MessagePublished);               
            }
        }  

    这个方法中,我们要注意一下has_NecceryEnder参数,它用于表明引擎环链engineTacheList中的最后一个引擎环是否是必须要执行的,如果该参数为true,则如果中间的引擎环执行失败,那么最后的一个引擎环也会被执行--这是常见的需求,我们经常在最后一个引擎环中做一些清理资源、写日志等后备工作。
    AgileEngine的Excute方法启动了一个线程来执行Worker方法:

        private void Worker()
        {
            string failureCause = null;
            for (int i = 0; i < this.engineTacheList.Count; i++)
            {               
                this.currentTache = this.engineTacheList[i];

                this.TitleChanged(this.currentTache.Title);

                bool excuteSucceed = this.currentTache.Excute(out failureCause);

                if (!excuteSucceed)
                {
                    if (this.hasNecceryEnder && (i != (this.engineTacheList.Count - 1)))
                    {
                        string cause = null;
                        this.currentTache = this.engineTacheList[this.engineTacheList.Count-1];
                        this.currentTache.Excute(out cause);
                    }
                    this.TransferDisruptted(failureCause);
                    return;
                }
            }           

            this.TransferCompleted();
        } 

    代码已经清晰地说明了一切,就不赘言了。

    通过上面的所有介绍,我们没有看到与DTS系统相关的任何东西,所以IAgileEngine是一个与应用无关的引擎,只要你的应用中的引擎需要作类似的引擎环分解,那么可以参考下IAgileEngine的作法。

    下面,我简单说说当前的DTS系统中的引擎包含哪些引擎环:
(1)DataEngineStarter 数据引擎启动器
(2)DataEngineReadyChecker 在数据传递之前进行全面检查
(3)DataEngineTransfer 执行主要的数据传递工作
(4)DataEngineDeleteIncrHandler 执行delete增量转移
(5)DataEngineEnder 数据引擎的最后执行环节

    后面的文章中将详细介绍这些引擎环。感谢你的关注!

转到:DTS开发记录(序)        
   

时间: 2024-09-24 06:28:44

DTS开发记录(7)-- 灵活的引擎 IAgileEngine的相关文章

DTS开发记录(序)

    (原文发表于2006-06-27 ,修正于2006-07-03)    目前手头上正在负责一个DTS(这里的DTS是Data Transfer System的缩写)系统的开发,我打算写一系列的文章来记录这个开发的全过程,这个记录可以说是实时的--每当遇到一个重要问题或解决一个重要问题,我将记录之.侯捷老师说,"发表是最好的记忆",这一系列的文章除了权作笔记外,也希望能对后来者有所参考.        在开发任何系统之前,我们都需要弄清楚,这个系统是用来干什么的?主要职责是什么?

DTS开发记录(5)-- 挑战增量导出

    增量导出恐怕是DTS系统中最艰难的部分了,我们曾考虑过很多方案,最后都因为需要表大纲做一定的假设而不具备通用性而放弃.有很多效率较高的方案,由于为了追求通用性而无法实现,因为现实的情况比我们理想的要复杂许多.    下面将列举我们曾考虑的几种主要方案,这些方案乍一看似乎都很有希望,可通过层层分析,最后都因为复杂的现实情况而胎死腹中. 1.触发器    这是一个非常简单直接的解决方案,我们只需要将DTS引擎驻留在比如windows服务中,该引擎通过数据库的触发器事件获取源表数据更新的所有情

DTS开发记录(6)-- 数据映射

    在DTS开发记录(4)-- 映射列一文中,我们详细的讨论了参与映射的源列和目标列,在拥有了映射列的基本概念的基础上,我们可以讨论数据映射DataMapping了.    数据映射主要由一组映射项(MappingItem)组成,它包含了源数据大纲到目标数据大纲的详细的完整的映射关系.    首先要注意一点,数据映射与数据大纲绑定,但是并不与任何特定的数据库表绑定.这样,DataMapping可以运用在不同的数据库表上,只要对应的数据库表结构兼容DataMapping要求的数据大纲即可.  

DTS开发记录(1)--系统总体结构

    (原文发表于2006-06-28 ,修正于2006-07-03)     在DTS开发记录(序)一文中,我们已经明白了当前这个Data Transfer System的主要目标和存在的难点与挑战.在接下来的一系列的文章中,我将记录我们开发中是如何解决这些难点.如何应付这些挑战的,有的技巧或方案可能还并不成熟,所以如果你有任何想法,请留言告诉我.     本文就先从系统结构讲起.     通过我们的分析归纳,确定了该DTS系统中存在三个核心的概念,这三个核心概念建立在如下基本概念之上:(1

DTS开发记录(9)-- 数据迁移任务 DataTask

    在DTS开发记录(1)--系统总体结构 一文中,我们已经看到,一次数据传递任务基于一个连接对和一个数据映射进行.但是之前,我们并没有提到"数据迁移任务"这个元素.随着设计的演化,我们发现一个数据任务已经不再仅仅是一个连接对加上一个数据映射了.现在,我们完全有必要把"数据迁移任务"这个概念抽象的表示出来,称之为DataTask.     有了DataTask,我们的数据引擎就可以修改为基于一个指定的DataTask执行.DataTask不仅封装了在其上执行数据

DTS开发记录(2)-- 数据管道及插件

    通过前面两篇文章(已于2006-07-03修正)的介绍,我们已经大致明白了系统的目标的总体结构,从这篇文章开始,我们将逐渐深入到系统内部.     本文讲述数据管道,数据管道是用于在数据源/数据目标与DataTable之间进行数据传递的组件,它是与数据库类型和文件类型相关的,数据从数据源经过数据管道后,就变成与数据源类型无关的数据了,这样映射编辑和数据引擎便能对它们进行一致的处理.    数据管道接口定义的类图如下:     数据管道接口IDataPipe从另外两个接口继承:数据导入器(

DTS开发记录(10)-- 可视化的流程编辑

   在将数据从数据源导出到数据目标的过程中,我们通常需要对数据进行一些检查.验证.加工.转换等操作,而这个加工转换的流程可能是非常复杂的,DTS通过可视化的拖拽的方式对数据加工转换流程进行自定义编辑.   下面的一个例子,是将某个市的学生记录表中的数据导出到省的学生记录表中,市数据库使用的是SqlServer,省数据库采用的是Oracle.    左边的工具栏中是不同类型的Filter,它们用于对数据进行某些处理,这些Filter分为五类:(1)数据载体:用于存储数据的容器,如数据库.文件.消

DTS开发记录(4)-- 映射列

    在DTS开发记录(1)--系统总体结构 一文中,我们介绍到映射列:"参与了数据映射的源列或目标列.注意,并不是所有的列都会参与映射,这是常见的情况." 1.映射列分为:源映射列和目标映射列.     public interface IMappingColumn    {        string ColumnName { get;set;}    }     public interface IDestMappingColumn : IMappingColumn    { 

DTS开发记录(8)-- 主键的影响

    对于数据源向同一数据目标导出(我们称之为"数据汇集")和增量导出来说,对主键的处理也是一个大的挑战.    我先定义一下在本DTS系统中主键(PrimaryKey)的含义:PrimaryKey 表示主键或联合主键,PrimaryKey并不是针对某个数据库表的,而是针对某个特定的DataMapping而言的,它用于在数据迁移过程中来唯一确定数据源或数据目标中每条记录.    所以,本DTS系统中的PrimaryKey很多时候就是数据库表的主键,有些时候则可能不是,只要它能满足&q