海量数据迁移之数据加载流程

在之前的博文中分享了关于数据抽取流程的一些思路,整体来说,数据的抽取是辅助,数据的加载是关键。加载的过程中每一步需要格外关注,稍有偏差就可能造成数据的损坏或者丢失。
为了更加清晰的说明通过外部表来实现数据加载的流程,特意画了如下的流程图。

在这个图中,数据的抽取是左边的部分,可以根据需要生成对应的外部表dump文件。
这个时候可以在目标环境中也创建只读用户,外部表用户,只读用户中只存放同义词,外部表用户中存放的是需要加载的外部表,整个外部表的加载过程不会消耗额外的物理空间,而且加载啊速度极快。
这么做有几个好处,最大的一个好处就是可以通过这种方式提前进行数据校验。把一些潜在的数据冲突问题提前发现,提前修复,如果在大半夜的数据加载中发现了问题,再去修复似乎就晚了很多,而且带着疲惫去尝试修复数据真实苦不堪言。
右边的图是数据加载的一个流程图。
我特意把外部表的dump文件用类似u盘的图标代替就是想说明外部表的加载是即插即用,用完直接卸载即可。
而数据在加载之前需要做的一个重要步骤就是数据比较,就是右边图中蓝色的标示部分。
通过比较只读用户(即目标数据)和外部表用户中的外部表数据(源数据),可以灵活的匹配主键列,非唯一性约束列可以很有效的进行数据的冗余比较。
有了这种方式,在多次的数据迁移中,都可以在数据加载前提前进行数据检查。着实让人放心不少,对于提升自信心是很有帮助的。一旦发现了数据问题,就可以及时发现,提前发现,让专门的团队及时修复数据。
至于最关键的数据加载,就是外部表用户和目标数据用户之间的数据关联了。可以通过insert append的方式进行数据的导入。可以根据数据情况进行切分粒度的控制。比如我们有一个表test特别大,有500G,我们就可以把这个大表在收据抽取的时候进行细粒度的切分,比如我们通过启用并行生成了500个dump文件,这样每个dump文件就基本上是1G的标准,每1G的数据加载我们及时提交,会给Undo带来缓解不少的压力。而且这样数据的加载流程可以灵活控制,而不用用漫长的等待来做最终加载是否成功的赌注。

时间: 2024-09-21 05:41:27

海量数据迁移之数据加载流程的相关文章

oracle的sql loader数据加载工具

SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中.SQL*LOADER是大型数据 仓库选择使用的加载方法. 在NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload. 如执行:d:/oracle>sqlldr SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 11:06:42 2002 (c) Copyright 1999 Oracle Corp

提高数据加载速度的常用方法

数据加载是数据库应用开发和测试中经常遇到的需求场景.如果要加载的数据量很大,加载的性能往往会成为瓶颈.最近又遇到了一个典型的数据加载场景,顺手总结一下相关的经验. 综合来看,提高加载速度的办法主要有: 1 优化表结构和定义 1.     表定义中避免采用操作代价较高的数据类型,例如在允许的情况下用 INTEGER 或 DOUBLE 代替 DECIMAL. 2.     延迟进行约束或完整性检查,例如在数据加载之后再创建索引和外码约束等. 3.     针对性的做一些物理参数调优,例如调整数据库页

SWF关于远程源和允许跨域数据加载

加载|数据 与 HTML 页面类似,SWF 文件是用于捕获和显示信息的窗口.然而,SWF 文件可以在浏览器中保持加载状态,同时用新信息持续更新而不必重新加载整个页面.使用动作脚本函数和方法,可以向服务器端脚本.文本文件以及 XML 文件发送信息,也可从它们那里接收信息. 此外,服务器端脚本可从数据库中请求特定信息,然后将其转发给 SWF 文件.可用多种不同的语言撰写服务器端脚本:其中最常用的是 CFML.Perl.ASP (Microsoft Active Server Pages) 和 PHP

nhibernate数据加载之Criteria加载

加载|数据 Criteria是通过一组条件表达式(Expression)来加载数据的,它返回满足条件的对象集合. 主要接口为ICriteria,实现为CriteriaImpl类,此类加有Internal修饰,因此不能在程序集外显示创建,nhibernate在session对象中为我们提供了一个方法CreateCriteria,此方法返回ICriteria接口. 这里列出了ICriteria接口的一些方法:SetMaxResults:设置返回的最大结果数,可用于分页:SetFirstResult:

WorldWind系列十四:DEM数据加载和应用——以SRTM为例(上)

DEM应用在WW的三维表现中占有很重要的位置,跟影像数据同等重要!幸好影像和DEM的加载和处理原理上几乎一致,对基于WW搞GIS三维开发来说是件好事,理解好任何一种,另一种触类旁通!前一篇,主要从功能上做了简单入门介绍,该篇将从代码级别分析WW内置的SRTM的DEM数据加载和应用,下一篇讲从二次开发角度上讲解如何处理.配置自己的影像和DEM数据.呵呵,因为DEM部分很重要,且是放假期间我也有时间,争取篇篇精彩! 两个缩写词介绍:因为这两个缩写词常出现,知道是什么缩写,就不觉得神秘啦! SRTM:

表单-Extjs 怎么控制combo 数据加载与赋值的先后顺序

问题描述 Extjs 怎么控制combo 数据加载与赋值的先后顺序 在form 表单中,有多个combo 下拉框, 使用 form.getForm().load() 方法请求数据并为表单赋值, 这样会造成 combo 数据还没有加载完就给 combo 赋值, 会导致无法赋上值, 如果 各个combo 还有级联关系就更加恼火了, 各位大神有不有解决办法诶---怎么控制combo 数据加载与赋值的先后顺序: 解决方案 Ext.ajax加载数据存储进入变量中,用loadReocrd方法加载,combo

jsp-将JSP网页上的数据加载到word模板中然后发送到指定的邮箱

问题描述 将JSP网页上的数据加载到word模板中然后发送到指定的邮箱 现在需要做一个简单的页面应用,个人以前很少做这种.就是在一个JSP页面上填写相关的信息,然后将信息获取填充到给定的word文档中,最后将word文档发送到指定的邮箱. 上面的是简单的需求.我分析了下,可以分为三步:第一.按照word文档制作一个JSP页面,第二.将页面上的数据提取然后写入到word中,第三.发送邮件. 现在感到最困难的就是第二步,写数据到word中,不知道有没有什么好的方法可以推荐,或者有类似的项目给我借鉴下

sencha touch dataview 数据加载问题

问题描述 sencha touch dataview 数据加载问题 在使用sencha touch时遇到个问题.dataview 控件第一次加载数据能显示,第二次加载数据无法显示,这时我随便点一下界面任意一个控件(不执行任何操作)这时数据又显示出来了... 查阅了很多资料都没解决. 解决方案 http://blog.sina.com.cn/s/blog_6158283f0100uep4.html

RecyclerView 的数据加载 包括分页加载 和刷新加载 头尾部的提示处理

问题描述 RecyclerView 的数据加载 包括分页加载 和刷新加载 头尾部的提示处理 RecyclerView 如何实现分页加载网络数据和刷新加载 头尾部的提示处理?