Datapump数据迁移前的准备工作(二)

之前写了一篇文章分析了Datapump迁移数据的一些准备总结,反响还不错。最近碰到一个场景,根据评估还是使用Datapump比较好。主要的原因如下:
1.原来的环境在Solaris下,硬件资源老旧,需要迁移到Linux下,跨平台迁移使用逻辑迁移优先
2.原来的环境使用10gR2,现在需要顺带迁移到11gR2,充分解决备库“不中用”的情况
3.迁移的数据量不算大,在几百G以内,可以充分利用带宽和I/O吞吐量来达到预期的时间窗口。
而在这个方案之外,考虑到提高性能,我们采用了PCIE-SSD的方案加速I/O,当然使用了和源库不同的分区。
为了使应用的影响降低到最低,我们决定在迁移之后切换IP,使得新的数据库环境拥有原来的IP,这样应用端就无需做任何连接信息的修改了,DB Link的问题也能得到一并解决,无需确认更多的细节。
如果应用有重连机制,那么这种方案之外对于应用是完全透明的,就跟启停一下应用的效果一样。
这种方案使用Datapump迁移前看起来还是照葫芦画瓢,但是细细想来却有一些隐患和需要预先解决的地方,不知道大家看到我提供的背景是否有一些想法。
1.为了降低切换IP带来的繁琐和更多可能的隐患,所以在listener.ora,tnsnames.ora中的host信息都统一为主机名,这样在/etc/hosts中统一修改即可。切换IP后只修改这一处配置即可。
2.Solaris的防火墙信息设置和Linux还是截然不同的。这个里面就有很多信息需要确认。
Solaris环境下的防火墙开通是类似下面的形式:
如果要对10.xxxx的IP开通1522的端口访问权限,使用下面的方式在内存中和文件中都做配置

内存中设置,在线生效,其中e1000g0 为网卡的名称,就跟Linux中的eth0,eth1是一样的。
echo 'pass in quick on e1000g0 proto tcp
from 10.xxxxx to any port = 1522' | ipf -f -
在文件中补充

/etc/ipf/ipf.conf ||pass in quick on e1000g0 proto tcp from 10.xxxxx to any port = 1522

在Linux下则要简单许多,类似下面的形式
iptables -I INPUT -s  10.xxxx  -p tcp -m multiport --dports 1522  -i  eth0  -j ACCEPT
如果要写入配置文件,则可以直接service iptables save
这个配置信息的变更让我花了些时间,其中还有一些空格类的,个别语法的差异,最后干脆直接手工来调整了。
3.对于目标库的设置,有一个很大的隐患,就是源库和目标库的文件路径不同,我在上面也提到了使用PCIE-SSD采用了不同的分区,所以如果直接采用全库导入是肯定会有隐患,倒不是出错,而是会造成资源的浪费。比如源库中的文件路径是/U01/xxxx 而在目标库是/U02/xxx,在这种情况下如果全库导入,生成的表空间,数据文件都会在/U01下,如果迁移完成之后反应过来,那已经有些晚了,还得重新再迁移一遍,要么重建控制文件,要么直接rename,在升级窗口有限的时间里这种突发情况花费的时间肯定不是一两分钟,恐惧和慌乱很可能会花去至少10多分钟的时间。
4.对于未知问题的考虑,我也有一些补充的想法,在源库中导出数据,如果开启大并行,有一种隐患就是老旧的服务器还是有潜在的风险,如果出现了宕机,那大家可就慌乱了,紧急处理思路就是做Failover,然后在备库端继续尝试导出,如果点更背,还是出现故障,还有异地备库2 ,再次做Failover,这种情况下就赶紧收手,安排下次的迁移了。当然我说的可能是微乎其微的概率,但是这些可能你如果认真想过,就算出了问题也会临危不太乱。
5.当然对于监控来说,有一个好处是可以统一在Linux下监控了,在Solaris下还总是有一些担心,所以只开启了Orabbix监控。
最后就是认真细心的处理各种可能发生的问题,统筹帷幄,一切尽在掌握之中。

时间: 2024-10-01 05:23:14

Datapump数据迁移前的准备工作(二)的相关文章

Datapump数据迁移前的准备工作

    其实对于Datapump迁移而言,如果参与过XTTS,OGG,Veritas SF,外部表增量等迁移方式的话,会发现Datapump还是很简单清晰的,一个优点就是操作简单清晰,想必于imp而言性能要好.所以不要小看这种迁移方式,不是说哪些迁移方式就是最好的,数据迁移中也没有银弹,最合适的就是最好的.     迁移之前我们还是需要做一些准备工作,尽量避免临时的忙乱,减少出错概率,要知道升级迁移都是在大早上,大晚上,都是精力比较差的时候,如果迁移前的准备不足,没有充足的准备,就会忙乱一团.所

数据迁移前的准备和系统检查

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的.http://blog.itpub.net/23718752/viewspace-1195364/ 我在这个帖子的基础上进行更多的总结和补充. 数据升级前的测试  -)充分的测试,评估时间,总结经验,提升性能, 心中有数. 在生产中进行数据的大批量迁移时,充分的测试时必须的.一方面可以根据这些测试积累一些必要的数据作为生产中使用参考,另外一方面可以基于之前的测试,总结经验,总结不足之处,

云存储中的数据迁移分析

如今, 由于数据成本的不断飙升.技术管理人员的水平参差不齐等原因,云存储已经成为了各个机构数据存储的重要举措和发展方向.云存储作为云中的一项重要服务, 它通过集群应用.网格技术或分布式文件系统等将各种存储设备通过应用软件集合起来, 对外提供数据存储和业务访问.对于数据存储, 当我们从一个物理环境和单个阵列过渡到完全虚拟化的.高度动态的的存储环境时,需要面对很多问题.而数据迁移作为采用云存储方案中最为基础.关键的步骤.它将历史数据进行清洗,转换, 并装载到新系统,它是保证数据系统平滑升级和更新的重

SharePoint 数据迁移解决方案

前言:说来惭愧,我们的SharePoint内网门户跑了2年,不堪重负,数据量也不是很大,库有60GB左右,数据量几万条,总之由于各种原因吧,网站速度非常慢,具体问题研究了很久,也无从解决,所有考虑用Net重新搭网站,进行数据迁移,也就带来了数据迁移这个问题. 思路:由于SharePoint的架构和Net有着不一样的特点,而且SharePoint的数据库设计是不为人所知的(当然我们可以了解一些,但不完全),虽然也是基于Net架构的,但是我们很难做到Sql To Sql的方式.所以,只能考虑服务器端

让数据迁移变得轻松

不管你称其为数据引力还是数据惯性,从存储基础设施的一个位置移动数据到另一个位置是个艰难的过程.至少,过去是这样.而现在,在合适的工具和基础设施条件下,传统的数据迁移过程中涉及到的许多困难点都可以消除.采用的方法只是提前规划和采用恰当的技术. 为什么数据迁移在过去是个问题 一份最新的Hitachi Data Systems报告详细的整理了来自IDC和451个集团公司的调研.报告表明数据迁移项目占据了大型企业IT项目的60%,并且,几乎一半的IT预算用于运维开销--一个明显的信号即数据迁移消耗了大部

数据迁移中的数据库检查和建议

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的.http://blog.itpub.net/23718752/viewspace-1195364/http://blog.itpub.net/23718752/viewspace-1254945/ 我在这些帖子的基础上进行更多的总结和补充. 数据库级的检查和建议1)参数检查 有些参数是需要在数据迁移前临时做变更的,有些是性能相关的,需要考虑. log_buffer在数据导入的过程中会有极

教你实现MySQL表数据迁移自动化

一.背景 之前我写过关于SQL Server的数据迁移自动化的文章:SQL Server 数据库迁移偏方,在上篇文章中设计了一张临时表,这个临时表记录搬迁的配置信息,用一个存储过程读取这张表进行数据的迁移,再由一个Job进行迭代调用这个存储过程. 在这次MySQL的实战中,我的数据库已经做了4个分片,分布在不同的4台机器上,每台机器上的数据量有1.7亿(1.7*4=6.8亿),占用空间260G(260*4=1040G),这次迁移的目的就是删除掉一些历史记录,减轻数据库压力,有人说这为什么不使用表

MaxCompute跨Region数据迁移指导手册

概述 大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的 GB/TB/PB 级数据仓库解决方案.MaxCompute 为用户提供了完善的数据导入导出方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全. 随着MaxCompute的多Region部署,一些用户可能需要把MaxCompute的应用从老的Region上迁移到和自己的业务系统相同的Region上来,从而在数据传输上获得更好的性能并减少数据传输费用.本指导手册主要聚焦

PgSQL · 最佳实践 · 云上的数据迁移

title: PgSQL · 最佳实践 · 云上的数据迁移 author: 义从 背景 大多数使用云产品作为 IT 解决方案的客户同时使用多款云产品是一个普遍现象. 用户在多款云产品之间转移数据成为一个基础的需求. 例如 1. 用户把线下机房中的 Oracle 数据库中的数据 迁移到云上 RDS PPAS 中. 2. 使用 RDS MYSQL 做为数据库支撑交易型业务场景,同时使用 HybridDB for PostgreSQL 作数据仓库解决方案. 3. 把 ODPS 中的大量数据导入到 Hy