Datapump数据迁移前的准备工作

    其实对于Datapump迁移而言,如果参与过XTTS,OGG,Veritas SF,外部表增量等迁移方式的话,会发现Datapump还是很简单清晰的,一个优点就是操作简单清晰,想必于imp而言性能要好。所以不要小看这种迁移方式,不是说哪些迁移方式就是最好的,数据迁移中也没有银弹,最合适的就是最好的。
    迁移之前我们还是需要做一些准备工作,尽量避免临时的忙乱,减少出错概率,要知道升级迁移都是在大早上,大晚上,都是精力比较差的时候,如果迁移前的准备不足,没有充足的准备,就会忙乱一团。所以在这点上有一个详细的检查清单还是很有必要的。
假设下面的这种场景,我们有一套全新的硬件环境,数据量也不大,需要升级到11g环境,可以考虑Datapump方案。
  
迁移前的准备工作,自己想了不少,总结出来就是一套可实践的方案,可能有的朋友会想,如果升级一套数据库,这些工作是不是看起来有些多余啊,其实不然,一种情况下,升级的时候是多台联动升级,这时很容易遗留一些准备工作;另外一种情况是你做了很多准备工作,但是在紧急的情况下,你肯定不会那么淡定,这个时候这些准备就很有条理,严格按照计划就会省力很多。

拷机测试,检查是否有sysbench的进程存在,一般来说拷机测试需要一周左右,如果有硬件问题可以及时排除。
保证主备机不在同一个机架位,机房的服务器需要提前确认不在同一个机架位,排除断电造成的极端情况
两个服务器间配置无密码通信,方便dump传输
优化内核参数(比如设置HugePage),关闭NUMA,设置资源memlock
同步两个服务器的防火墙信息
同步/etc/hosts信息,修改主机IP
同步listener.ora tnsnames.ora信息,host统一为主机名而非IP
修改主机名root,oracle密码,改为安全模式的设置
检查数据库日志,是否有ORA相关的错误,从日志中检查大页是否开启
设置NTP时间同步
如果存在DB Link,需要开通相关的防火墙权限,保证访问畅通
如果其他服务器存在相关的DB Link,需要提前准备好连接新库的tnsnames.ora
图形界面检查,保证能够正常显示图形,有些操作可以的话使用图形工具也可以
检查主备库启用的监听端口是否一致
数据库参数调整和优化(关闭密码过期60天的设置,部分新特性)
目标服务器中的数据库temp,undo的大小设置
检查主备库的字符集是否一致
检查数据库中的无效对象
对演练中的数据问题进行确认, Foreign key相关的数据问题
检查备库是否可以启动到只读状态
安装zabbix客户端
检查源服务器端是否有足够的磁盘空间

时间: 2024-09-22 21:15:36

Datapump数据迁移前的准备工作的相关文章

Datapump数据迁移前的准备工作(二)

之前写了一篇文章分析了Datapump迁移数据的一些准备总结,反响还不错.最近碰到一个场景,根据评估还是使用Datapump比较好.主要的原因如下: 1.原来的环境在Solaris下,硬件资源老旧,需要迁移到Linux下,跨平台迁移使用逻辑迁移优先 2.原来的环境使用10gR2,现在需要顺带迁移到11gR2,充分解决备库"不中用"的情况 3.迁移的数据量不算大,在几百G以内,可以充分利用带宽和I/O吞吐量来达到预期的时间窗口. 而在这个方案之外,考虑到提高性能,我们采用了PCIE-SS

数据迁移前的准备和系统检查

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的.http://blog.itpub.net/23718752/viewspace-1195364/ 我在这个帖子的基础上进行更多的总结和补充. 数据升级前的测试  -)充分的测试,评估时间,总结经验,提升性能, 心中有数. 在生产中进行数据的大批量迁移时,充分的测试时必须的.一方面可以根据这些测试积累一些必要的数据作为生产中使用参考,另外一方面可以基于之前的测试,总结经验,总结不足之处,

让数据迁移变得轻松

不管你称其为数据引力还是数据惯性,从存储基础设施的一个位置移动数据到另一个位置是个艰难的过程.至少,过去是这样.而现在,在合适的工具和基础设施条件下,传统的数据迁移过程中涉及到的许多困难点都可以消除.采用的方法只是提前规划和采用恰当的技术. 为什么数据迁移在过去是个问题 一份最新的Hitachi Data Systems报告详细的整理了来自IDC和451个集团公司的调研.报告表明数据迁移项目占据了大型企业IT项目的60%,并且,几乎一半的IT预算用于运维开销--一个明显的信号即数据迁移消耗了大部

云存储中的数据迁移分析

如今, 由于数据成本的不断飙升.技术管理人员的水平参差不齐等原因,云存储已经成为了各个机构数据存储的重要举措和发展方向.云存储作为云中的一项重要服务, 它通过集群应用.网格技术或分布式文件系统等将各种存储设备通过应用软件集合起来, 对外提供数据存储和业务访问.对于数据存储, 当我们从一个物理环境和单个阵列过渡到完全虚拟化的.高度动态的的存储环境时,需要面对很多问题.而数据迁移作为采用云存储方案中最为基础.关键的步骤.它将历史数据进行清洗,转换, 并装载到新系统,它是保证数据系统平滑升级和更新的重

数据迁移中的数据库检查和建议

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的.http://blog.itpub.net/23718752/viewspace-1195364/http://blog.itpub.net/23718752/viewspace-1254945/ 我在这些帖子的基础上进行更多的总结和补充. 数据库级的检查和建议1)参数检查 有些参数是需要在数据迁移前临时做变更的,有些是性能相关的,需要考虑. log_buffer在数据导入的过程中会有极

MaxCompute跨Region数据迁移指导手册

概述 大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的 GB/TB/PB 级数据仓库解决方案.MaxCompute 为用户提供了完善的数据导入导出方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全. 随着MaxCompute的多Region部署,一些用户可能需要把MaxCompute的应用从老的Region上迁移到和自己的业务系统相同的Region上来,从而在数据传输上获得更好的性能并减少数据传输费用.本指导手册主要聚焦

数据迁移中需要考虑的问题

在生产环境中,做数据迁移需要考虑很多的可能性和场景,尽量排除可能发生的问题.我自己总结了下,大体有如下需要注意的地方.1)充分的测试,评估时间,总结经验,提升性能 在生产中进行数据的大批量迁移时,充分的测试时必须的.一方面可以根据这些测试积累一些必要的数据作为生产中使用参考,另外一方面可以基于之前的测试,总结经验,总结不足之处,加入改进,在生产中每一分钟的改进都是很重要的. 2)完整的备份策略热备甚至冷备     在数据迁移之前进行完整的备份,一定要是全量的.甚至在允许的情况下做冷备都可以.数据

数据迁移部分问题总结

按照计划在周二开始了数据迁移,本来之前也做了不少的准备工作.但是还是在迁移的过程中出现了一些问题.简单做一个总结. 1.constraint导致的数据reject在数据加载的时候,报了如下的错误.有一些数据记录被reject了,查看后发现是源库和目标库中表的not null constraint导致的,在源库中没有not null constraint,但是在目标库中有. 这个问题只能和开发做确认,稍后处理. records from TESTDATA_HIST cannot insert NU

教你实现MySQL表数据迁移自动化

一.背景 之前我写过关于SQL Server的数据迁移自动化的文章:SQL Server 数据库迁移偏方,在上篇文章中设计了一张临时表,这个临时表记录搬迁的配置信息,用一个存储过程读取这张表进行数据的迁移,再由一个Job进行迭代调用这个存储过程. 在这次MySQL的实战中,我的数据库已经做了4个分片,分布在不同的4台机器上,每台机器上的数据量有1.7亿(1.7*4=6.8亿),占用空间260G(260*4=1040G),这次迁移的目的就是删除掉一些历史记录,减轻数据库压力,有人说这为什么不使用表