oracle大数据量的导入和导出

oracle|数据

在oracle中批量数据的导出是借助sqlplus的spool来实现的。批量数据的导入是通过sqlload来实现的。大量数据的导出部分如下:/*************************** *  sql脚本部分 demo.sql begin **************************//************************** * @author meconsea * @date 20050413 * @msn meconsea@hotmail.com * @Email meconsea@163.com **************************/

//##--markup html:html格式输出,缺省为off

//##--autocommit:自动提交insert、update、delete带来的记录改变,缺省为off

//##--define:识别命令中的变量前缀符,缺省为on,也就是'&',碰到变量前缀符,后面的字符串作为变量处理.

set colsep' ';                       //##--域输出分隔符

set echo off;                            //##--显示start启动的脚本中的每个sql命令,缺省为on

set feedback off;                        //##--回显本次sql命令处理的记录条数,缺省为on      

set heading off;                         //##--输出域标题,缺省为on

set pagesize 0;                          //##--输出每页行数,缺省为24,为了避免分页,可设定为0。

set linesize 80;                         //##--输出一行字符个数,缺省为80

set numwidth 12;                         //##--输出number类型域长度,缺省为10

set termout off;                         //##--显示脚本中的命令的执行结果,缺省为on

set timing off;      //##--显示每条sql命令的耗时,缺省为off

set trimout on;                          //##--去除标准输出每行的拖尾空格,缺省为off

set trimspool on;                        //##--去除重定向(spool)输出每行的拖尾空格,缺省为off

spool C:\data\dmczry.txt;               

select trim(czry_dm),trim(swjg_dm),trim(czry_mc) from dm_czry;

spool off;

EOF

/*********************** * demo.sql end ***********************/ 在数据导入的时候采用sqlload来调用,在该部分调用的时候用java来调用sqlload。sqlload包括ctl控制文件。例如:/********************* * meconsea  ctl ********************/ load data infile 'C:\data\dmczry.txt' replace into table DM_CZRY fields terminated by X'09' (CZRY_DM,SWJG_DM,CZRY_MC) /******************** * end * 注释:里面的replace可以改为append *******************/  java程序如下:在java程序用可以根据需求写成一个bat文件。 把数据库的配置和文件的路径写到一个properties文件。/************************* * ide properties ************************/Dserver=test/test@SJJZsqlldr=D:\\oracle\\ora92\\bin\ QLLDR.EXE

ctldmczry=C:\\data\\ctl\\dmczry.ctltxtdmczry=C:\\data\\dmczry.txt

写个PropertyBean.java来操作properties文件。(偷懒不写了!)用DmCzry.java来把记录导入db中。部分代码如下:

/**************************** * 代码摘要 * ***************************/ .............. sqlldr = pb.getSqlldr(); txt = pb.getTxtdmczry(); ctl = pb.getCtldmczry(); Dserver= pb.getDserver();   Process processCmd = Runtime.getRuntime().exec(sqlldr+" "+cmdStr); .............

时间: 2024-09-16 21:56:30

oracle大数据量的导入和导出的相关文章

poi处理excel大数据量的导入会报内存溢出

问题描述 poi处理excel大数据量的导入会报内存溢出 XSSFWorkbook workbook = new XSSFWorkbook(new FileInputStream(fileName())); 就是单独执行这行代码都不行,报内存溢出,我把虚拟机都设置成最大了也溢出 差不多10万行吧 解决方案 poi大数据量excel导入 解决方案二: 可以参考这:poi的eventmodel写的大数据量的excel的读取程序.http://gaosheng08.iteye.com/blog/624

MySQL大数据量之导入导出命令详解

面对大数据量,大文件的sql操作,我们需要借助mysql强大的命令操作: 1. 数据库导入命令  代码如下 复制代码 mysql -h localhost -u root -p   use dbname source backup.sql 说明:需要使用命令连接上数据库并选择相应数据库才能使用. 2. 数据库备份命令 MySQL的导出命令mysqldump,基本用法是:  代码如下 复制代码 mysqldump [OPTIONS] database [tables] 说明:不能先连接数据库,是直

Oracle大数据量分页通用存储过程

/*根据网友资料修改的,见笑了*/ type refCursorType is REF CURSOR;  --游标类型定义,用于返回数据集 /***************************************************************** *功能描述: 大数据量分页通用存储过程 *创 建 人: 夏春涛 xchuntao@163.com qq:23106676 *创建时间: 2005-06-29 **********************************

关于oracle大数据量导入后进行处理的疑问,效率低下

问题描述 有300w的订购关系数据.需要导入到数据库中,然后将每一条数据分发到不同的区域订购表.我的处理流程:1. 首先建一张临时数据表.用sqlldr将300w数据导入到临时表中2. 用存储过程遍历这张表.每次取5w的数据,放到游标中.然后每一条去做处理,分发到不同的订购表中.3. 将这5w条数据处理过后,提交,并在临时表中删除这5w条数据.然后循环,再取5w处理.直到临时表中数据删除.测试结果显示,这样的效率很差.50w的数据处理差不多就要一个小时.是不是我的处理方式有问题.或者5w的数据放

MySQL大数据量导入导出方法比较

硬件: Intel(R) Xeon(R) CPU 5130 @ 2.00GHz * 2, 4G RAM, 564G SAS 软件: Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 2.6.9 42.ELsmp (32-bit), MySQL 5.0.27-standard-log 总记录数: 1016126, 每行平均大小 46822 1. 导出测试 1.1 导出成文本 方法: SELECT * INTO OUTFILE '/bac

Mysql大数据量的导出导入方法比较

硬件: Intel(R) Xeon(R) CPU 5130 @ 2.00GHz * 2, 4G RAM, 564G SAS 软件: Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 2.6.9 42.ELsmp (32-bit), MySQL 5.0.27-standard-log 总记录数: 1016126, 每行平均大小 46822 1. 导出测试1.1 导出成文本 方法: SELECT * INTO OUTFILE '/back

导出大数据量excel,用POI

问题描述 导出大数据量excel,用POI 需要导出的数据量可能非常大(超过10W条),而且要照顾到没装07Excel的机器,不能用SXSSFworkbook.鉴于一个sheet页最多65000多条记录,那么大数据就需要多个sheet页.由于导出前要先查数据库,是应该一次查出所有数据然后导出还是分次查询?每次查询65000条数据? 解决方案 这么大的文件,excel 2003未必能打开.建议分页存入多个excel文件. 解决方案二: 看速度和效率了,分次是不是速度还快点

poi3 8大数据导出-poi3.8大数据量Excel导出连续查询导出不同的报表后导出速度非常慢

问题描述 poi3.8大数据量Excel导出连续查询导出不同的报表后导出速度非常慢 poi3.8用((SXSSFSheet)sheet).flushRows()方法解决了大数据量的excel导出,但是我在使用过程中,由于每个单元格都要设置不同的颜色和数据格式,发现导出第一张报表时速度还勉强可以接受,但是继续导出另一张报表,速度就慢的跟蜗牛似的,要10分钟甚至3个小时,请问有什么方法可以解决? 代码如下: private static void fillExcel(KDTable kdtRepor

大数据量下高并发同步的讲解(不看,保证你后悔)(转)

  对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了.而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧. 为了更好的理解并发和同步,我们需要先明白两个重要的概念:同步和异步 1.同步和异步的区别和联系 所谓同步,可以理解为在执行完一个函数或方法之后,一直等待系统返回值或消息,这时程序是出于阻塞的,只有接收到 返回的值或消息后才往下执行其它的命令. 异步,执行完函数或方法后