SQL 2005的SSIS与Oracle的迁移性能

一直担心sql server 2005的ssis性能问题,一位仁兄对其进行了测试,值得借鉴。

项目中存在一部分数据迁移的工作,说白了就是从老的系统中将数据倒换的新的系统模型中,老系统的数据来源比较复杂多样,新的自然是Oracle9.2。

本来这也就是一次性工作,用SQL自然是最快的方式,不论是开发还是数据传输的速度。可是甲方偏偏要看到界面,希望这是一个成型的工具,没办法,甲方就是上帝。

公司原来也有一个迁移工具,可是只能适用于表对表的倒换,复杂一些无能为力,而且数据还巨慢,用过的人都是对它无语。

从新开发,不说花费和效果,光是时间也不行。没办法,只好看看现在流行的ETL的工具。

市场前列毋庸置疑,肯定是Informatia 和 DataStage.

Informatia没有,只好看看DataStage是否能适应现在的功能要求。不想,虽然是图形界面,可使用起来一点也不容易,而且安装后,Windows下居然不能脱离域环境,而且不是Server版本的Windows还不能运行Paralle Job。郁闷无比。

试了两天后,暂时放下。Microsoft的易用性比功能强大更吸引我。试试SQL Server 2005中的SSIS,号称企业级的ETL。

一用之后呢,没想还真有点喜欢上了它,从介绍的和界面上看一点也不比DataStage的功能少,性能,哈,下面就是我要说得了。

ETL工具最慢的部分都是L这一部分,按照一般的说法能占到总体时间的五分之四,所以这是关键。

测试也不算复杂,就是同样的数据抽取、转化、然后加载用不同的驱动分别跑一遍,目的库已经确定是Oracle,所以也没有太大的余地了。

在SSIS中,有两个驱动可以连接Oracle数据库,一个是Microsoft OLEDB Provider for Oracle,另外一个是Oracle Provider for OLEDB

不测不知道,还真长了不少见识。

时间: 2024-11-09 00:15:09

SQL 2005的SSIS与Oracle的迁移性能的相关文章

从SQL SERVER 向ORACLE 8迁移的技术实现方案

oracle|server  不知道从哪里得到这个文档,有用就放上来了 -gwb  数据库端SQL语法的迁移以下为常用的SQL语法迁移,包括数据类型.ID列向SEQUENCE迁移.表(主键.外键.CHECK.UNIQUE.DEFAULT.INDEX).游标.存储过程.函数.触发器.常用SQL语法与函数几个方面,考虑SQL SERVER的实际情况,没有涉及ORACLE特有的PACKAGE.EXCEPTION等.在以下的描述中,将SQL SERVER的TRANSACT-SQL简称为T-SQL.在OR

MYSQL到ORACLE程序迁移的注意事项(转载)

mysql|oracle|程序 MYSQL到ORACLE程序迁移的注意事项                                                  2001-09     有很多应用项目, 刚起步的时候用MYSQL数据库基本上能实现各种功能需求,随着应用用户的增多,数据量的增加,MYSQL渐渐地出现不堪重负的情况:连接很慢甚至宕机,于是就有把数据从MYSQL迁到ORACLE的需求,应用程序也要相应做一些修改.本人总结出以下几点注意事项,希望对大家有所帮助. 1. 自动增

【交流】SQL 2005溢用之:合并列值

问题描述: 无论是在sql 2000, 还是在 sql 2005 中,都没有提供字符串的聚合函数, 所以, 当我们在处理下列要求时,会比较麻烦:   有表tb, 如下: id    value ----- ------ 1     aa 1     bb 2     aaa 2     bbb 2     ccc   需要得到结果: id     values ------ ----------- 1      aa,bb 2      aaa,bbb,ccc   即, group by id,

阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具

背景 08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步. 项目介绍 名称: yugong 译意: 愚公移山 语言: 纯java开发 定位: 数据库迁移 (目前主要支持oracle -> mysql/DRDS) 项目

使用OEM,SQL*Plus,iSQL*Plus 管理Oracle实例

--========================================== --使用OEM,SQL*Plus,iSQL*Plus 管理Oracle实例 --========================================== /* 一.管理组件     Oracle 10g数据库管理包含三个组件,本文主要介绍Database Control,SQL*Plus及iSQL*Plus        Database instance(数据库实例)  -->系统使用的后台进

sqlserver-KETTLE SQLSERVER到ORACLE 数据迁移问题 IMAGE类型转BLOB

问题描述 KETTLE SQLSERVER到ORACLE 数据迁移问题 IMAGE类型转BLOB 最近需要从SQLSERVER中向ORACLE中做数据迁移,遇到sqlserver中字段类型为image,向oracle中转化为blob 类型,增加了字段选择,不知道怎么操作,老是报错,求解,错误信息如下: 2013/11/09 15:16:34 - 接收方数据库.0 - ERROR (version 4.3.0, build 1 from 2012-07-24 10.59.03 by Adminis

使用kettle工具把oracle数据迁移到Mongo

问题描述 使用kettle工具把oracle数据迁移到Mongo 各位大神好,请教一个问题: 比如现在oracle有三个表:表1,表2,表3 表1是表2的主表 表2是表3的主表 那我对应MongoDB的文档结构应该如下: { "表1字段1":"学校id", "表1字段2":"学校name", "表2表名": { "表2字段1":"学生id", "表2字段2&

从SQL Server数据库转到Oracle数据库的数据脚本处理

在我们很多情况下的开发,为了方便或者通用性的考虑,都首先考虑SQL Server数据库进行开发,但有时候客户的生产环境是Oracle或者其他数据库,那么我们就需要把对应的数据结构和数据脚本转换为对应的数据库,数据结构一般来说,语法都遵循了SQL92的标准,或者我们根据不同的PowerDesigner文件进行生成对应的结构脚本即可,但是实际数据的脚本我们就需要进行一定的处理,以及文本的替换处理了,本文结合Notepad++的文本正则表达式替换,实现一些如日期较为特殊的数据脚本调整,把它从SQL S

在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案[转]

在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案 病症表现为:主要表现为用T-sql语句插入中文数据时数据库显示全是问号"???" 解决办法: 第一种办法:先选中出错的数据库→选中以后右键点击属性会弹出数据库属性 对话框→选中数据库属性对话框中的选项→把选项中的排序规则设置成:Chinese_PRC_90_CI_AS→最后点击确定即可.(注意:在选择数据库属性的时候必须确保你所修改的数据库未被使用才可以修改否则会失败的) 第二种办法:首先打开你的sql查询分析器