数据迁移中碰见的一些问题

单位有一套Oracle 9i的古老测试数据库,因为机房搬迁,所以需要迁移数据,新库是Oracle 11g了,一个比较简单的需求,但过程中碰见了一些问题,看似比较琐碎,值得总结一下。

由于源库是9i,因此只能用imp/exp,不能用数据泵。

问题1:导入目标库用户的默认表空间



源库由于不规范的使用,对象默认存储的是数据库默认表空间USERS,既然是迁移,新库就要尽量规范一些。但问题来了,impdp/expdp可以使用remap_tablespace映射新旧表空间,exp/imp应该如何做?

网上有一种说法是,首先收回用户user的unlimited tablespace权限,然后设置user默认表空间为bank_tbs,再将user对system和users表空间配额设置为0,意图是让imp导入的时候,发现users表空间无权限,则自动找用户的默认表空间bank_tbs。

revokeunlimited tablespace from user;

alteruser user quota unlimited on bank_tbs;

alteruser user quota 0 on system;

alteruser user quota 0 on users;

但从我实测看,并不是这样,可以使用imp命令的show选项,看dmp文件内容,create table子句是会跟着tablespace users,即指定了表使用的表空间名称,由于user用户在users表空间配额为0,因此会报quota相关的错误,并不会找用户默认的bank_tbs表空间。

我们再捋一下,

1. dump文件中有指定了tablespace users表空间。

2. 目标库存在users表空间,但用户在users表空间配额为0,其默认表空间为bank_tbs。

3. imp执行导入,报错users表空间quota错误。

用户默认表空间的作用,是若create table语句未指定tablespace子句,则会默认存储此表空间,既然如此,既然如此,又由于这是一套测试库,因此首先改一下users表空间名称,

alter tablespace users rename to users_k;

然后执行imp导入,就可以正常存入user用户默认的bank_tbs中。顺着思路想,可以改一下数据库的默认表空间users,只要保证不存在users表空间,dmp中create table语句就不能根据tablesapce子句,插入对应的表空间,而是找用户默认的表空间。

除此之外,可以初始化就导入users表空间,然后拼接SQL语句,将对象可以move至其他表空间,当然这就需要两倍的空间。另外还可以收工改一下dmp文件中tablespace子句对应的表空间,但只适应于小容量文件。

这里有一些知识点值得关注,

1. unlimited tablespace权限,是为用户授予resource角色是自动添加的,但从安全性的角度来考虑,在创建用户并且授予resource角色之后应该回收unlimited tablespace这个系统权限,原因就是有了这个权限,用户可以在任意表空间中创建对象,就有可能恶意占领系统表空间,影响数据库的正常运行。

2. Oracle 9i以前,数据库默认用户的表空间是SYSTEM,这是极为不合理的,因为SYSTEM存储的是数据库重要的底层数据字典信息,如果无限制地存储用户数据,极有可能影响数据库的运行。从9i开始,默认表空间则变为了USERS,建库的时候会默认创建。

使用如下语句,可以查询当前系统默认表空间,

select property_value from database_properties where property_name = 'DEFAULT_PERMANENT_TABLESPACE';

使用如下语句,可以改下当前数据库默认的用户表空间以及临时表空间,

alter database default [temporary] tablespace tablespace_name;

问题2:数据库字符集



为了保证数据导出导入,不会出现乱码,字符集要尽量保持一致,可以使用如下语句检索当前数据库使用的字符集,

select userenv('language') from dual;

例如返回结果是AMERICAN_AMERICA.ZHS16GBK。

若要检索当前操作系统字符集,可以使用,

echo $NLS_LANG

例如返回结果是AMERICAN_AMERICA.AL32UTF8。

若要更新操作系统字符集,可以使用,

export  NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

问题3:导入过程中的一些报错



报错1:

Export file created by EXPORT:V09.02.00 via conventional path
IMP-00013: only a DBA can import a file exported by another DBA
IMP-00000: Import terminated unsuccessfully

错误信息提示,只用DBA用户可以导入另一个DBA导出的文件。意思就是这个dmp文件,导出用户是有DBA角色的,因此导入使用的用户,必须要有DBA角色。

解决方法1:使用非DBA角色的用户,重新exp导出,再用非DBA用户imp导入。

解决方法2:使用DBA用户执行imp导入操作。

相比而言,生产系统一般会选择方案1,毕竟一般业务数据的属主,不会是一个DBA角色的用户,如果用方案2,则要求目标端用户需要DBA角色,未来要是再有导出导入需求,还是需要DBA角色,无休无止了。

报错2:

Export file created by EXPORT:V09.02.00 via conventional path
import done in ZHS16GBK character set and AL16UTF16 NCHAR character set
IMP-00031: Must specify FULL=Y or provide FROMUSER/TOUSER or TABLES arguments
IMP-00000: Import terminated unsuccessfully

此时执行imp可以指定full=y,或者使用fromuser和touser参数,例如,

imp user/user file=... log=... fromuser=user touser=user

明确导出和导入的用户名称。

问题4:创建视图报错



导入日志中显示,创建视图的时候报错了,

ORA-01031: insufficient privileges

原因就是为用户授予resource和connect常规角色,并不会自动授予创建视图的权限,具体可以参考(http://blog.csdn.net/bisal/article/details/31735185),此时可以授予,

SQL> grant createany view to user;

Grant succeeded.

再次导入,即可以正常完成了。

对于测试数据迁移,其实还有一点,就是是不是所有数据,都需要迁移?因为往往测试库中有一些,仅临时使用的表对象等信息,如果执行前,筛选一下真正需要的数据,再开始执行导出导入,可能只需要迁移小部分数据,对于垃圾数据就可以直接忽略,这就是人们常说优化的极致,即不做任何事。

如果您觉得此篇文章对您有帮助,欢迎关注微信公众号:bisal的个人杂货铺,您的支持是对我最大的鼓励!共同学习,共同进步:)

时间: 2024-10-24 07:26:15

数据迁移中碰见的一些问题的相关文章

数据迁移中的几个问题总结

   总结一下昨晚在数据迁移前线奋战碰到的一些问题,虽然总体来说是按照预定的计划完成,并且提前完成,但是哪怕一丁点儿的操作都会导致一些严重的影响.    总体来说,需要做的事情就是把核心业务服务器从一个机房迁移到另外一个机房,这个过程中因为环境的重要性和硬件软件的情况,大体分为了下面三个方向的技术方案. 迁移部分核心业务从Solaris到X86平台,同时需要升级数据库版本 迁移x86平台的部分核心业务,这个方向操作相对简单,基本就是主备切换 整合部分X86平台的环境,比如数据库a,b整合后就是一

数据迁移中的数据库检查和建议

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的.http://blog.itpub.net/23718752/viewspace-1195364/http://blog.itpub.net/23718752/viewspace-1254945/ 我在这些帖子的基础上进行更多的总结和补充. 数据库级的检查和建议1)参数检查 有些参数是需要在数据迁移前临时做变更的,有些是性能相关的,需要考虑. log_buffer在数据导入的过程中会有极

数据迁移中需要考虑的问题

在生产环境中,做数据迁移需要考虑很多的可能性和场景,尽量排除可能发生的问题.我自己总结了下,大体有如下需要注意的地方.1)充分的测试,评估时间,总结经验,提升性能 在生产中进行数据的大批量迁移时,充分的测试时必须的.一方面可以根据这些测试积累一些必要的数据作为生产中使用参考,另外一方面可以基于之前的测试,总结经验,总结不足之处,加入改进,在生产中每一分钟的改进都是很重要的. 2)完整的备份策略热备甚至冷备     在数据迁移之前进行完整的备份,一定要是全量的.甚至在允许的情况下做冷备都可以.数据

有关数据迁移中MYSQL错误请教

问题描述 我在数据迁移建表时出错:Mysql::Error:Can't create table'.store_developmentgoals.frm'<error:121>CREATE TABLE 'goals'<'id' int<11> DEFAULT NULL auto_increment PRIMARY KEY, 'title' varchar<255> DEFAULT NULL, 'description' text DEFAULT NULL >

.net2.0中使用SqlBulkCopy进行大批量数据迁移

sql|数据 在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便.而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据.数据源可以来自关系数据库或者XML文件,甚至WebService返回结果.其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中.下面我们先通过一个简单的例子说明这个类的使用:

数据迁移类测试策略

前言 前段时间做了一次数据迁移,针对数据迁移类型的测试方法进行了一些了解和总结,以下工具愚公移山和精卫为淘宝开发的工具,已使用于多个产品.项目中,质量有保障. 一.工具介绍 1.愚公移山 概述: 数据的动态迁移,可完成数据全量.增量迁移,进行数据比对,保证数据的正确:目前较多运用在数据迁移中,已经被很多团队使用,是很成熟可靠的数据迁移工具 适用范围: 可支持:支持oracle和mysql,分库分表,实时同步,数据比对 不支持:涉及到外部依赖,迁移规则非常复杂的数据 性能情况: 没有对愚公进行压测

NAS数据迁移初探

阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例.HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展.单一命名空间.多共享.高可靠和高可用等特性的分布式文件系统.相比于传统的存储设备,NAS所具有的高容量.高可靠.多共享等特性是现在诸多企业迫切需要的,能够解决他们对现有系统在性能.扩展性方面的需求.传统解决方案如何上云,第一步就是原始数据的搬迁问题,如何做到不停服无缝搬迁,在

生产环境数据迁移问题汇总

在测试环境中做了3轮数据迁移的演练,最终到了生产环境中,还是出现了不少问题,经过大半夜的奋战,终于是数据都迁移成功了.1)共享存储的配置问题 共享存储使用NFS来共享存储,但是在实际操作中发现配置出了问题,原因是因为两台服务器上的用户不同在,目标机器上没有任何写权限. -rw-r--r-- 1 3160 dba      6608 Jun 26 23:35 tmp_gunzip.sh         -rw-r--r-- 1 3160 dba       624 Jun 26 23:30 tmp

Datapump数据迁移前的准备工作

    其实对于Datapump迁移而言,如果参与过XTTS,OGG,Veritas SF,外部表增量等迁移方式的话,会发现Datapump还是很简单清晰的,一个优点就是操作简单清晰,想必于imp而言性能要好.所以不要小看这种迁移方式,不是说哪些迁移方式就是最好的,数据迁移中也没有银弹,最合适的就是最好的.     迁移之前我们还是需要做一些准备工作,尽量避免临时的忙乱,减少出错概率,要知道升级迁移都是在大早上,大晚上,都是精力比较差的时候,如果迁移前的准备不足,没有充足的准备,就会忙乱一团.所