GoldenGate数据迁移的问题总结(一)

今天对GoldenGate的数据同步进一步做了测试,发现在一些模拟真实的场景中,需要考虑的因素要更多更为复杂。简单同步几条,几百条数据的测试同步做验证测试可以,但是很难测试出来一些潜在的问题,今天碰到了一些问题,基本都得到了解决。

首先要测试的这个环境数据要多一些。导出了一个测试环境的数据进行OGG的复制演练。

test@TESTDB> select table_type from cat group by table_type
TABLE_TYPE
-----------
TABLE
VIEW
SYNONYM
SEQUENCE
test@TESTDB> select count(*)from cat;
  COUNT(*)
----------
       259

我觉得数据迁移里面增量数据的迁移实在是太复杂了,一旦某个地方出错,回滚的余地都会很小。这个用户下有不少的表,所以测试起来就会更加谨慎小心。为了不影响其它用户,我先做了源端和目标端的配置。源端基于Solaris,10gR2,目标端基于Linux 64,11gR2

配置抽取进程

dblogin userid ogg_source,password oracle
add trandata test.*

edit params ext_test
 EXTRACT ext_test
 USERID ogg_source, PASSWORD oracle
 EXTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl
 TABLE test.*;

ADD EXTRACT ext_test, TRANLOG, BEGIN NOW
ADD EXTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl, EXTRACT ext_test
start ext_test
info ext_test

配置投递进程

edit params dp_test
 EXTRACT dp_test
 PASSTHRU
 RMTHOST 10.127.133.125, MGRPORT 1530
 RMTTRAIL  /export/home/oracle/ogg/ogg_10g/dirdat/tl
 TABLE test.*;

ADD EXTRACT dp_test,EXTTRAILSOURCE /export/home/oracle/ogg/ogg_10g/dirdat/tl
ADD RMTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl, EXTRACT dp_test

start dp_test
info dp_tes配置应用进程

dblogin userid ogg_target,password oracle

edit params rep_test
 REPLICAT REP_test
 USERID ogg_target, PASSWORD oracle
 ASSUMETARGETDEFS
 HANDLECOLLISIONS
 MAP test.*,TARGET test.*;

ADD REPLICAT rep_test, EXTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl,CHECKPOINTTABLE ogg_target.CHKPTAB
start rep_test为了简单测试一下数据量大的情况下的同步情况,我选取了下面的几个表数据,摘自impdp的日志

. . imported "test"."SWD_DRAWCN"                         839.7 MB 11174310 rows
. . imported "test"."SWD_QDRAWCHECK"                     187.7 MB 9052277 rows
. . imported "test"."TL_SERVER_LOG"                      13.92 MB   61341 rows
. . imported "test"."SWD_DRAWCARD"                       8.129 MB  185044 rows

首先测试了delete的情况,看看源端,目标端的同步速率,整个过程持续了近40分钟,其中大部分的时间都在源端,可见硬件老化还是很严重的,在目标端同样的操作就快了不是一点半点。

问题1:抽取进程失败

然后再次使用impdp在源端导入数据,这个过程源端的抽取进程很可能会失败,原因之一就是因为impdp需要创建一个临时表,而我们在配置里指定测试用户下的表都要映射 。

2016-11-16 16:21:04  ERROR   OGG-00901  Failed to lookup object ID for table test.SYS_IMPORT_TABLE_01

.这个过程很容易,在Impdp完成后重启抽取进程即可。

问题2:支持TRUNCATE

我对测试环境中的对象进行了检查,发现有一个地方很可能出现问题,因为在线上库中存在一个JOB,会先清空一个中继表数据,然后补入一部分数据,清空的操作是truncate,所以数据同步还是需要支持truncate操作,对于其它的DDL暂时先不动。

要实现识别truncate的操作,OGG已经做好了,需要在抽取进程和应用进程的参数配置,加入一个参数GETTRUNCATES即可。这样就可以轻松同步数据了,使用truncate都可以自动同步,摆平了一个潜在的隐患。

问题3:投递进程失败

下午在大批量数据的测试场景中,发现投递进程竟然自动停了。

2016-11-16 17:22:36  ERROR   OGG-01668  Oracle GoldenGate Capture for Oracle, dp_test.prm:  PROCESS ABENDING.
2016-11-16 17:22:53  INFO    OGG-01026  Oracle GoldenGate Capture for Oracle, ext_test.prm:  Rolling over remote file /export/home/o
racle/ogg/ogg_10g/dirdat/tl000059.登录到目标端,发现数据库直接hang住了。

[oracle@newtest ~]$ sqlplus n1/n1
^C ERROR:
ORA-02002: error while writing to audit trail
ORA-00604: error occurred at recursive SQL level 1
ORA-01013: user requested cancel of current operation

而问题的原因就是归档空间满了。简单清理后继续测试。

问题4:trail文件的清理

而后续继续测试,发现另外一个问题摆上了日程,那就是对trail文件的清理,其中一个方式就是在mgr中配置参数,设定一个范围来删除。

edit param mgr
PURGEOLDEXTRACTS /export/home/oracle/ogg/ogg_10g/dirdat/tl*, USECHECKPOINTS, MINKEEPDAYS 2

问题5:无法停止replicat进程

如果在数据同步的过程中,停止replicat进程失败,会直接影响数据同步的情况

GGSCI (newtest.oracle.com) 10> stop rep_test
Sending STOP request to REPLICAT REP_test ...
STOP request pending end-of-transaction (6158834 records so far)..

可以使用kill的方式终止

GGSCI (newtest.oracle.com) 9> info all
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     STOPPED                                           
REPLICAT    STOPPED     REP_1       00:00:00      00:00:34    
REPLICAT    RUNNING     REP_test    00:31:32      01:01:07  

GGSCI (newtest.oracle.com) 14> start mgr
Manager started.

GGSCI (newtest.oracle.com) 17> kill replicat rep_test
Sending KILL request to MANAGER ...
Killed process (84166) for REPLICAT REP_test

小技巧:

在数据复制的过程中,如果想查看源端目标端的同步情况,使用info得到的信息是很笼统的,我们可以使用send的方式得到一个状态信息,这个数据是相对准确的。

GGSCI (newtest.oracle.com) 2> send rep_test, status
Sending STATUS request to REPLICAT REP_test ...
  Current status: At EOF
  Sequence #: 48
  RBA: 99999876
  6158834 records in current transaction
PENDING
  STOP request pending end-of-transaction (6158834 records so far)

时间: 2024-11-10 11:08:10

GoldenGate数据迁移的问题总结(一)的相关文章

数据迁移中的数据库检查和建议

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的.http://blog.itpub.net/23718752/viewspace-1195364/http://blog.itpub.net/23718752/viewspace-1254945/ 我在这些帖子的基础上进行更多的总结和补充. 数据库级的检查和建议1)参数检查 有些参数是需要在数据迁移前临时做变更的,有些是性能相关的,需要考虑. log_buffer在数据导入的过程中会有极

数据迁移中需要考虑的问题

在生产环境中,做数据迁移需要考虑很多的可能性和场景,尽量排除可能发生的问题.我自己总结了下,大体有如下需要注意的地方.1)充分的测试,评估时间,总结经验,提升性能 在生产中进行数据的大批量迁移时,充分的测试时必须的.一方面可以根据这些测试积累一些必要的数据作为生产中使用参考,另外一方面可以基于之前的测试,总结经验,总结不足之处,加入改进,在生产中每一分钟的改进都是很重要的. 2)完整的备份策略热备甚至冷备     在数据迁移之前进行完整的备份,一定要是全量的.甚至在允许的情况下做冷备都可以.数据

ORACLE与SQL之间的数据迁移

oracle|数据 高级数据迁移        很多时间,要在异构数据库之间进行数据迁移或抽取,如果在SQL中提取ORACLE的数据,可以通过ODBC.OLEDB等多种方式,要从ORACLE提取SQL中的数据,大都是通过透明网关来实现的.        在异构数据抽取过程中,最好采用SQL92标准的语法编写SQL代码,同时要注意不同数据库之间数据类型的转换关系,如ORACLE的日期类型用DATE.SQL用Datetime等.   一 关于ORACLE的透明网关配置        ORACLE安装

使用Kettle数据迁移添加主键和索引

Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,主要用于数据抽取.转换.装载.kettle兼容了市面上几十种数据库,故用kettle来做数据库的迁移视乎是个不错的选择. kettle的数据抽取主要在于抽取数据,而没有考虑数据库的函数.存储过程.视图.表结构以及索引.约束等等,而这些东西恰恰都是数据迁移需要考虑的事情.当然,如果在不考虑数据库中的函数.存储过程.视图的情况下,使用kettle进行数据的迁移还算是一个可行的方案. 这篇文章主要是讲述在使用kettle进行数据库的

使用热备份进行分时恢复----怎样通过归档逐步恢复以缩短数据迁移时间

备份|恢复|热备份|数据 使用热备份进行分时恢复 ----怎样通过归档逐步恢复以缩短数据迁移时间 Last Updated: Monday, 2004-11-15 10:32 Eygle         很多时候你可能遇到这样的情况:一个大型数据库的迁移,但是只有很少的停机时间,这看起来充满困难.可是我们可以通过各种方法来缩短停机时间. 本例适用于同平台.同版本数据库迁移. 在此情况下,我们可以通过一个热备份,应用归档恢复数据库到一个一致的状态,此时数据库可以被只读(read only)打开.之

.net2.0中使用SqlBulkCopy进行大批量数据迁移

sql|数据 在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便.而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据.数据源可以来自关系数据库或者XML文件,甚至WebService返回结果.其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中.下面我们先通过一个简单的例子说明这个类的使用:

SQL Server 7.0 的数据迁移到MySQL上的一种方法

mysql|server|数据 Microsoft SQL Server 7.0 的数据迁移到MySQL上的方法 Zhbforce   想必大家都很喜欢用Word打字,用Excel进行计算和规划,用PowerPoint作幻灯片进行展示-,但是这只用到了Office系列产品的很少的一部分功能.据调查,绝大部分用户只用到了Office产品的20%的功能,很少有人注意到Visual Basic for Application.实际上,熟悉掌握VBA的功能可以使你的工作事半功倍,尤其对会计.金融等专业来

FreeBSD系统的数据迁移方法

相信一些朋友也曾经想过如何快捷安全迁移数据,迁移数据可能有多种原因,一种是想增加一块硬盘,把原来一些空间不够的分区迁移过来:另一种是硬盘复制,旧的硬盘容量可能太小了,又或者已经出现了问题,想用新的硬盘代替.葱头就分别举例说明怎样迁移数据,具体方法可能和你的硬盘的实际情况有所不同,这里只是作一个指引. 无论是那种方法,都必须先将新硬盘装上并让系统正确识别.为了不用设硬盘跳线(硬盘缺省为Master),这里举例安装一个新的IDE硬盘到IDE1接口,即与旧硬盘使用不同的数据线,系统识别为ad2:如果你

教你实现MySQL表数据迁移自动化

一.背景 之前我写过关于SQL Server的数据迁移自动化的文章:SQL Server 数据库迁移偏方,在上篇文章中设计了一张临时表,这个临时表记录搬迁的配置信息,用一个存储过程读取这张表进行数据的迁移,再由一个Job进行迭代调用这个存储过程. 在这次MySQL的实战中,我的数据库已经做了4个分片,分布在不同的4台机器上,每台机器上的数据量有1.7亿(1.7*4=6.8亿),占用空间260G(260*4=1040G),这次迁移的目的就是删除掉一些历史记录,减轻数据库压力,有人说这为什么不使用表