深入ORACLE迁移到MYSQL的总结分析_oracle

这两个星期里一直都在忙于一件事儿,就是数据库的迁移问题。没有做的时候感觉这是一件十分轻松的事儿,可是等到实实在在去做去实现的时候,自己傻眼了。这种纠结啊,

在这里先说下遇到的问题:
1。数据库的表结构问题:数据类型不同需要解决varchar2------varchar、number-----int、date----datetime,建表的sql语句字段默认值、注释怎么解决。

2. oracle中没有所谓的敏感字段,可是mysql表中的敏感字段有好多。当时出错的时候很奇怪不知道是哪里错了。原来有个describe的字段是mysql的敏感字段。

这里我也是在网上找了一个现成的工具:oracletomysql,它是只能为我们迁移表结构。
具体地址:http://www.5stardatabasesoftware.com/cn/

3. oracle的备份sql没法正常的mysql中跑,一些to_date()函数,to_char()让人很是痛苦不知道怎么去代替,原因很简单在oracle的备份文件中有一堆的解释文字:

复制代码 代码如下:

prompt PL/SQL Developer import file
prompt Created on 2012-05-30 by chenbh
set feedback off
set define off
prompt Disabling triggers for T_B_AUDITOR...
alter table T_B_AUDITOR disable all triggers;
prompt Loading T_B_AUDITOR...
insert into T_B_AUDITOR (AUDITORID, NAME, ORGID, SEX, IDCARDNO, TITLE, PHONE, MOBILE, DESCRIBE, AUDITORRIGHT, AUDITORSTATUS, RECORDSTATUS, FIELD1, FIELD2)

这些东西该怎么除去,大家的想法可能是我直接删除后直接在mysql中跑,可是您想一下如果要是您的备份文件很大很大呢,根本打不开就是。我遇到的sql备份有1G的,电脑不行实在是打不开没有办法只好,从新想其他的办法了。

在这里感谢下:ITPUB论坛的philip_zhong朋友,这里他给提供了一个程序,来处理大数据量的迁移工作。在这里说下我的使用感言啊,他提供了多种方式,shell脚本、windows下的bat启动、还有源程序。我都试过了,前两者没有调通,只好硬着头皮把他的源程序给跑一下,各种debug修改后终于调通了。很高兴……
这里需要提醒的是:

复制代码 代码如下:

static dataSyncDataSourceParameter dataSourceParameters;
 static dataSyncSessionParameter sessionParameter;
 //static final String configFileName = "config.properties";//这里是源程序中的参数,按照自己的需要进行配置
 static final String configFileName = "config_oracle2mysql.properties";//这里是我的配置文件
 /**
  * @param args
  */
 public static void main(String[] args) {
  // initialize the parameters
  //String progPath = args[0];
  //String progPath = "D://work//MyEclipse 8.5//Workspaces//dataSync";E://workspace//oracletomysql//package
  String progPath = "E://workspace//oracletomysql//package";//这里大家注意下,是你的package的位置所在。
  String confFilePath = progPath + "//conf";
  if (setparameters(confFilePath)) {
   // start to call thread to sync the data
   syncData();
  }
 }

config_oracle2mysql.properties配置文件:这里需要注意的是:ora_hash是个10g中才有的函数这里我们从新改变下:DBMS_UTILITY.GET_HASH_VALUE这个hash函数是在网上找了好长时间才有人提到的类似与ora_hash的函数。反正这里我的理解就是为了多线程进行大数据量的搬运节约时间,作者才通过hash的方法进行控制。其他注意的地方我已经在程序里写出来一来提醒我注意二来给大家提个醒别犯我的错而浪费大家的时间。

复制代码 代码如下:

#for source database parameters
source.dataSource.initialSize=10
source.dataSource.maxIdle=20
source.dataSource.minIdle=5
source.dataSource.maxActive=100
source.dataSource.maxWait=120000
source.jdbc.driverClassName=oracle.jdbc.driver.OracleDriver
source.jdbc.url=jdbc:oracle:thin:@10.17.199.8:1521:lab1107
source.jdbc.username=lab1107
source.jdbc.password=lab1107
#Target sync data threadNum=source.database.threadNum
source.database.threadNum=10
#这里的auditorid必须是主键,ora_hash是在10g中使用的,我们的9i没办法用啊。
source.database.selectSql=select * from t_b_role where DBMS_UTILITY.GET_HASH_VALUE(roleid,1,#threadNum#)=?
#you can input many commands and split by ";"
source.database.sessionCommand=ALTER SESSION SET DB_FILE_MULTIBLOCK_READ_COUNT=128;
#for target jdbc parameters
target.dataSource.initialSize=10
target.dataSource.maxIdle=20
target.dataSource.minIdle=5
target.dataSource.maxActive=100
target.dataSource.maxWait=120000
target.jdbc.driverClassName=com.mysql.jdbc.Driver
target.jdbc.url=jdbc:mysql://10.5.110.239:3306/test?autoReconnect=true&characterEncoding=UTF-8
target.jdbc.username=root
target.jdbc.password=chen
#target.database.insertSql=insert into test2(PATHALIASID,PATH,CREATETIME,LASTMODIFIEDTIME,OBJECTPREFIX,PATHMD5ID,COLLIDESWITH) values(?,?,?,?,?,?,?)
target.database.insertSql=insert into T_B_ROLE(ROLEID,ROLENAME,ROLEDESC,ROLESTATUS,RECORDSTATUS,FIELD1,FIELD2,SORTNUM) values(?,?,?,?,?,?,?,?)这里必须是目标数据库中的现成的一张表。
target.database.commitNum=1000

具体的问题大家要是遇到了,可以一起交流下。

时间: 2024-11-08 22:09:27

深入ORACLE迁移到MYSQL的总结分析_oracle的相关文章

Oracle迁移到MySQL性能下降的注意点

背景:最近有较多的客户系统由原来由Oracle改造到MySQL后出现了性能问题CPU 100%,或是后台的CRM系统复杂SQL在业务高峰的时候出现堆积导致业务故障.在我的记忆里面淘宝最初从Oracle迁移到MySQL期间也遇到了很多SQL的性能问题,记忆最为深刻的子查询,当初的版本是MySQL5.1,这个版本对子查询的优化较差,导致了很多从Oracle迁移到MySQL的系统出现过性能问题,所以后面的开发规范中规定前台交易系统不要有复杂的表join.接下来我将列举一些常见从Oracle迁移到MyS

从Oracle迁移到MySQL的各种坑及自救方案

讲师介绍  冯帅 点融网高级DBA   获有Oracle OCM.MySQL OCP,目前从事MySQL相关的运维和架构工作,擅长异构数据库交互.   当企业内部使用的数据库种类繁杂时,或者有需求更换数据库种类时,都可能会做很多数据迁移的工作.有些迁移很简单,有些迁移可能就会很复杂,大家有没有考虑过为了顺利完成复杂的数据库迁移任务,都需要考虑并解决哪些问题呢?   在以前的工作中,我迁移过Oracle到Informix.Oracle和SQLServer.Oracle到MySQL. 在目前的公司又

Windows下ORACLE 10g完全卸载的方法分析_oracle

Windows下ORACLE完全卸载:使用OUI可以卸载数据库,但卸载后注册表和文件系统内仍会有部分残留.这些残留不仅占用磁盘空间,而且影响ORACLE的重新安装及系统性能. 在WINDOWS下卸载ORACLE 10g的步骤:1 删除聚集同步服务CSS(Cluster Synchronization Services).如果数据库配置了自动存储管理ASM,应该先删除CSS服务,因为ORACLE不会自动删除这个服务.在DOS命令下使用localconfig delete命令可删除该服务. C:\D

Oracle过程与函数的区别分析_oracle

Oracle过程和函数相信大家都比较了解,下面就为您详细介绍Oracle过程和函数二者之间的区别,希望可以让您对Oracle过程和函数有更深的认识. Oracle过程和函数都以编译后的形式存放在数据库中,函数可以没有参数也可以有多个参数并有一个返回值.过程有零个或多个参数,没有返回值.函数和过程都可以通过参数列表接收或返回零个或多个值,函数和过程的主要区别不在于返回值,而在于他们的调用方式.Oracle过程是作为一个独立执行语句调用的: pay_involume(invoice_nbr,30,d

Oracle实现行列转换的方法分析_oracle

本文实例讲述了Oracle实现行列转换的方法.分享给大家供大家参考,具体如下: 1.固定列数的行列转换 如: student subject grade --------- ---------- -------- student1 语文 80 student1 数学 70 student1 英语 60 student2 语文 90 student2 数学 80 student2 英语 100 -- 转换为: 语文 数学 英语 student1 80 70 60 student2 90 80 10

将一个电子表格迁移到MySQL和Spark2.0.1上

把传统数据迁移到现代大数据平台有时是一件很令人畏惧的事,诚然,不是每个人都需要这么去做,但是有时候新的分析方法确实能让人看到数据中的惊喜,Marc Borowczak近日撰文描述了一些方法. 下为译文 PART 1 在这篇简短的指导中,笔者将会简短地回顾一种方法并且用我喜欢的数据集来演示.这不是一个ML库也不是一个Kaggle竞赛的数据集,仅仅是积累了数十年笔者跟踪塑料模型集合产生的数据,如此这般一定会适合传统的标准. 描述的步骤是在笔记本电脑上用VirtualBox运行Ubuntu 16.04

从商用到开源:DB2迁移至MySQL的最佳实践

身处数据驱动快速变革的时代,数据库系统的选型和架构设计对于整个IT基础架构,甚至企业的发展都起到至关重要的作用.那么今天,如果您的企业需要搭建一套新的应用系统,你会选择什么数据库类型?如果当前的系统不能满足业务需求,面临系统迁移,你又会如何选择? 在2017年初,我们分享过一份国外的报告"开发人员是如何使用数据库的 ",并且进行了一次调查『中国数据库爱好者的选择和背离』,其中的一些数据展示了用户对于数据库的选择,非常具有参考价值,链接可以直接参考分析报告. 随着互联网+时代的到来,企业

深度推荐:创业团队为什么要选择Oracle而不是MySQL?

『创业团队最佳选择是Oracle+MongoDB,而不是MySQL』,当深蓝在QQ群里抛出这样的观点的时候,就像是在马蜂窝里丢了一串鞭炮一样热闹起来.     创业者甲: 开什么玩笑,Oracle要收钱的,太贵了,完全不适合创业团队!! 架构师乙: Oracle太重了!对创业团队来说并不合适,哪里见过互联网公司用Oracle的,太扯淡了-- 架构师丙: 对啊,谁见过互联网公司用Oracle的啊,行业趋势是去IOE呢,让创业公司主推Oracle这不是逆水行舟么?太坑人了!! 创业者丁: 创业阶段业

将SQL Server数据迁移到MySQL的方法

一.SQL Server中常用数据类型与MySQL不同的地方     二.将SQL Server数据迁移到MySQL需要注意的一些问题     1.唯一索引的不同,sql server的唯一索引的字段只能允许存在一个null值,而mysql,一直oracle中唯一索引对应的字段都允许存在多个null值.   2.存储过程的语法存在很大的不同,存储过程的迁移是最麻烦的,需要仔细修改.   3.程序中部分写的SQL语句由于语法的不同也要相应的修改.   三.将SQL Server数据迁移到MySQL