数据迁移部分问题总结

按照计划在周二开始了数据迁移,本来之前也做了不少的准备工作。但是还是在迁移的过程中出现了一些问题。简单做一个总结。

1.constraint导致的数据reject
在数据加载的时候，报了如下的错误。有一些数据记录被reject了，查看后发现是源库和目标库中表的not null constraint导致的，在源库中没有not null constraint，但是在目标库中有。
这个问题只能和开发做确认，稍后处理。

records from TESTDATA_HIST

cannot insert NULL into ("XXXXX"."TESTDATA_HIST"."TOT_OBJ")

2.foreign key 导致的constraint enable
在数据加载之前，对于foreign key都做了diable的操作，在加载的过程中也没有出现任何问题。但是在enable foreign key的时候，报了02298的错误。

ERROR at line 1:

ORA-02298: cannot validate (XXXXX.CH_XXXX_1FK) - parent keys not found

alter table CH_XXXX enable constraint CH_XXXX_1FK       
这个问题，先做了constraint novalidate，交给开发去检查数据。     
                        

3.关于datapump加载一个较大的表，含有clob字段，数据5000万条

impdp xxxx/xxxx file=exp_test.dmp logfile=imp_test.log TABLE_EXISTS_ACTION=APPEND CONTENT=DATA_ONLY REMAP_SCHEMA=CNVDBO8:XXXX REMAP_TABLESPACE=LARGE_DATA:DATAS01

因为这部分是由另外一个dba来做的，他没有使用nohup方式，结果到半夜的时候，远程的网络重启了。收到了下面的信息，这确实有些崩溃。
Broadcast Message from uxadmin3 (pts/8) Wed Jun 11 01:08:29...

PLEASE LOG OFF NOW ! ! !
        System maintenance about to begin.
All processes will be terminated in 0 seconds.

Broadcast Message from uxadmin3 (pts/8) Wed Jun 11 01:08:29...
SYSTEM BEING BROUGHT DOWN NOW ! ! !

Connection to 10.196.28.42 closed by remote host.
Connection to 10.196.28.42 closed.

然后等网络好了之后，重新开始。在跑了1个多小时后报了乳腺癌的错误，就退出了。

ORA-31693: Table data object "XXXX"."TEST":"PMAX_AMAX_EMAX" failed to load/unload and is being skipped due to error:
ORA-00001: unique constraint (XXXX.TEST_PK) violated
Job "XXXXX"."SYS_IMPORT_FULL_01" completed with 1 error(s) at 02:34:33

可见数据可能有问题，根据我们的理解在datapump运行的过程中，如果突然中断，是直接rollback的。
但是数据现在都导不进去。最后使用了如下的选项，又是一个漫长的过程，这个时候对datapump也算是有一些心理煎熬了。

DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS

这次启用了nohup方式，在远程网络中断，后台依然在进行。

Starting "XXXXX"."IMPDP_MEMO": XXXXX/******** directory=DR_DATAPUMP_1 dumpfile=exp_mo1_memo.dmp logfile=imp_mo1_memo.log TABLE_EXISTS_ACTION=APPEND CONTENT=DATA_ONLY REMAP_SCHEMA=CNVDBO8:PRDAPPO REMAP_TABLESPACE=LARGE_DATA:DATAS01 parallel=6 DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS JOB_NAME=impdp_memo
Processing object type TABLE_EXPORT/TABLE/TABLE_DATA
Write failed: Broken pipe

在煎熬了3个小时候，终于有了下面的一段话。对于reject的数据也根据主键信息罗列了出来。

imported "XXXXX"."MO1_MEMO":"PMAX_AMAX_EMAX" 11.89 GB 52646187 out of 53020364 rows

 Rejected row #1043:

   column APP_ID: 1000
   column ENTITY_KEY: 1
   column PERIOD_KEY: 2
   column MEMO_ID: 34141901
。。。。。。

4.sequence检查

对于sequence的检查也是数据迁移的重中之重，在最后的检查中，尽管之前的sequence的值做了一个很大的buffer,胆识还是有一些sequence的问题。