IBM Infosphere Data Replication产品族Replication Server与Change Data Cap

IBM Infosphere Data Replication产品族Replication Server与Change Data Capture的异同比较

一,简介

在如今信息快速变化的商业时代,必须在第一时间做出商业决策并采取行动才能在激烈的竞争中保持领先地位。如果商业数据不能保证同步,那么生产和利润势必会遭受损失,但是,面对信息量激增并且分布存储的特点,保证数据的可信性并非易事。 IBM 的 InfoSphere Data Replication 产品族针对这一问题为应用提供了一系列数据同步解决方案,该类方案均为基于数据库日志实现对数据源变化的实时捕获,并且实时传输到目标端。本产品族包括 InfoSphere RS(Replication Server)和 InfoSphere CDC(Change Data Capture)两个产品。

二,产品介绍及其架构对比

1,Replication Server(RS)

Replication Server 产品包括 SQL 复制和 Q 复制两种技术。其中 SQL 复制(其前身为 Data Propagator)于 1994 年发布第一个版本,Q 复制于 2004 年发布第一个版本,如今已经发布了 V10FP1。相比于 SQL 复制,Q 复制的数据传输技术借助于 IBM 队列机制,从而提高了数据的传输效率和可靠性,可以达到每秒复制几千个表、几十万行数据 , 在几千英里的距离下端到端的延迟不到 1 秒(从源端 DB2 commit 到目标端 DB2 commit)。本文将主要介绍 Q 复制技术与 CDC 的对比。

如图 1 表示了 Q 复制的主要组件及其复制原理。其中主要的组成部分包括:

a).QCapture 程序,运行在源数据端,主要功能为从源数据库的日志中读取变化的数据,生成 MQ 消息并且将其放入 WebSphere MQ 队列,一般情况下每一条 MQ 消息代表一个数据库事务,消息的格式遵循一定的标准。

b).QApply 程序,并行地从队列中获取 MQ 消息,对消息中包含的数据库操作经过冲突检查、冲突处理等一系列分析处理生成相应的数据库操作,将源数据库中的数据变化反映到到目标表中。其中目标表可以是多种数据库,除 DB2 外,还可以借助于联邦数据库将数据变化复制到 Oracle, Sybase, Informix, SQL Server, Teradata 这些数据库中。

c).Websphere MQ,为 QCapture 和 QApply 之间提供数据传输功能,借助了 MQ 本身的健壮性和高性能。

图 1. Q 复制的主要组件及工作原理

2,Change Data Capture(CDC)

Change Data Capture(CDC) 的前身是 DataMirror,2007 年由 IBM 收购后正式更名为 CDC,并发布了收购后的第一个版本 V6.3,现在最新的版本为 V10.2。CDC 主要采用基于日志的变更数据捕获技术以实现对关键业务系统的实时数据复制,同时不影响业务系统性能。CDC 最大优点在于其对异构数据库的支持和与 IBM 产品的集成,为客户在数据迁移,整合,同步,动态数据仓库等应用中提供了卓越的解决方案。

图 2 显示了 CDC 的关键组件及其复制原理,其主要的组成部分包括:

a).Access Server(AS):用户配置和监控 CDC 引擎的安全管理工具,支持图形化界面(V6.5 之后集成在 MC 中)及命令行

b).Management Console(MC):CDC 的图形化界面工具,用于管理和配置复制信息,并对复制状态进行实时监控,获取 CDC 运行信息

c). 源端引擎:读取源端数据库的日志文件捕获变更数据,经过行列过滤,字符编码转换后由 TCP/IP 发送给目标端

d). 目标端引擎:接收源端发送的变更数据,经过数值转换,字符编码转换,冲突检测后将变更数据应用到目标数据库

e). 多数的 CDC 引擎既可作为源端引擎捕获变化数据又可作为目标端引擎接收变化数据并将其应用于指定的数据库;通常,CDC 引擎称为 CDC 实例,如果从 AS/MC 的角度,一个 CDC 引擎也被称作一个 CDC 数据存储

f). 元数据:存储 CDC 实例的配置信息,包括数据库连接信息,预定信息以及表的映射信息等,同时记录当前的复制进行状态

图 2. CDC 关键组件及复制原理

3,比较

RS 和 CDC 支持目前市场应用中的大部分数据库系统之间的复制,以下是二者支持的数据源,目标,消息队列及操作系统的对比:

查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/Programming/extra/

时间: 2025-01-19 12:05:29

IBM Infosphere Data Replication产品族Replication Server与Change Data Cap的相关文章

Introduction to Change Data Capture (CDC) in SQL Server 2008[转]

Change Data Capture records INSERTs, UPDATEs, and DELETEs applied to SQL Server tables, and makes a record available of what changed, where, and when, in simple relational 'change tables' rather than in an esoteric chopped salad of XML. These change

威胁预警:IBM InfoSphere系列产品中发现多处高危安全漏洞

本文讲的是威胁预警:IBM InfoSphere系列产品中发现多处高危安全漏洞, 近期,网络安全公司SEC Consult披露了影响IBM InfoSphere DataStage以及IBM InfoSphere Information Server等产品的若干个未修复漏洞的详细信息. 据悉,IBM InfoSphere DataStage 是一款强大的基于图形化界面的 ETL 工具,它可以从多个不同的业务系统,多个平台的数据源中抽取数据.转换数据.装载数据到各种目标系统中:而IBM InfoS

基于IBM InfoSphere DataStage和IBM InfoSphere Change Data Capture集成的解决方案

传统上,通过在非操作时间段内使用一个 ETL 流程批量处理,每年.每月或每周对http://www.aliyun.com/zixun/aggregation/8302.html">数据仓库更新一次.在今天的业务环境中,一线业务用户需要根据每小时.每分钟甚至每秒更新的信息制定决策.这些实时数据需求使得批处理窗口萎缩,并需要一个高效的解决方案来解决这个问题. IBM InfoSphere DataStage 和 IBM InfoSphere Change Data Capture 的集成是通过

介绍IBM DB2 10.1产品版本的基础知识、功能和工具(下)

数据复制工具 DB2 提供两种不同的解决方案供您复制数据到关系型数据库(包括一些非 IBM 数据库)或从关系型数据库复制数据:SQL 复制和 Q 复制.两种方法都可以由 复制中心(一个用于复制设置和维护的独立 GUI)和复制配置命令行处理器 (ASNCLP) 加以配置和维护.在 DB2 10 Express-C 和 Express 版本上没有提供这些工具. SQL 复制的配置更简单一些,且不依赖于其他产品进行同构复制,而 Q 复制最常用于这样的情况,也就是说,需要复制数据库的很大一部分内容,或者

使用IBM InfoSphere MDM工作流改进主数据治理

借助跨许多行业分部的经验,作者还提供了跨许多不同的 MDM 风格的专家经验,本文中的信息旨在帮助企业架构师了解确保 MDM 系统的工作流功能得到适当考虑的重要性.正如您在整篇文章中所发现的那样,要最充分地发挥 MDM 给企业带来的优势,您不仅应该将 MDM 工作流视为在 MDM 系统内部的数据提供者,还应该将它视为整个企业外部的广泛企业流程的数据提供者. MDM 风格 通常,MDM 用例可分为 4 种不同风格.每种风格可单独使用:但是,在业务利益相关者进一步领会主数据实现所带来的好处后,某种风格

利用Linux通道捆绑来提升IBM InfoSphere Streams性能

本文将从较高的层次介绍通道绑定的概念,如何设置测试环境和我们观察到的结果.在我们的实验中,通道绑定将带宽提高达 68%. 本文探讨 Red Hat Enterprise Linux 上的通道绑定对 IBM InfoSphere Streams 吞吐量和延迟的影响.将介绍如何使用 Red Hat Enterprise Linux 系统设置和配置通道绑定环境,可从在此环境中运行的 InfoSphere Streams 应用程序获得怎样的性能改进.目标读者为熟悉 InfoSphere Streams

监控和审计IBM InfoSphere BigInsights和Cloudera Hadoop的访问权限

您也将学习一个仅适用于 IBM InfoSphere BigInsights 的快速启动监控实现. 大数据骚动主要集中在支持极限容量.速度和多样性的http://www.aliyun.com/zixun/aggregation/13748.html">基础架构和该基础架构支持的实时分析功能中.虽然像 Hadoop 这样的大数据环境是相对较新的,但事实是在大数据环境中数据安全问题的关键是预先解决.哪里有数据,哪里就有可能存在隐私泄密.非授权访问或特权用户的不恰当访问. 整个大数据环境和更多传

IBM InfoSphere MDM在复杂环境中提供数据集成流程自动化和可靠的信息

借助 IBM® InfoSphere® MDM Reference Data Management (RDM) 中心,客户可以运用主数据管理 (MDM) 方法管理自身的参考数据.RDM 中心会通过有效的集中创作和审批点来替换遍布多款应用程序的代码表筒仓.同时还会提供一些 MDM 功能,比如治理.流程.安全和审计控制. 和任何初始的 MDM 实现项目一样,人们将大部分精力用于 RDM 中心与现有的应用程序和流程的集成.整个企业 IT 基础架构的应用程序都引用了代码表.为获得主引用数据的优势,RDM

使用Java编程语言构建IBM InfoSphere Streams应用程序

简介 IBM InfoSphere Streams( 以下简称 Streams) 是 IBM 于 2009 年推出的具有高可靠性,高可扩展性,分布式流计算平 台,前瞻性地把支持每秒 6G 或者每小时 21600G(相当于互联网上所有网页数量之和)数据处理能力作为系统设计的指标 ,实现了流数据"永恒分析"的能力.它包含一个运行时环境 ( 或者称为实例 ) 和编程模型来简化需要对大批量连续流数 据进行提取.过滤.分析以及关联的应用程序的开发,能够广泛的应用于制造.零售.交通运输.金融证券以