问题描述
//1、统计一共多少数据int countNum = jdbcTamplate1.queryForInt("select count(0) from tabA") ;System.out.println("总记录条数为:"+countNum);int l = (countNum + 29999) / 30000 ;jdbcTamplate2.getDataSource().getConnection().setAutoCommit(false) ;for(int i=0; i<l; i++){int startRowNum = i * 30000 ;int endRowNum = (i+1) * 30000 ;if(i == l-1){endRowNum = countNum ;}//构造查询语句StringBuilder sql = new StringBuilder() ;sql.append("select ID, X, Y, from (") ;sql.append("select rownum r, ID, X, Y from tabA where rownum <= ") ;sql.append(endRowNum + " ") ;sql.append("order by ID asc) ") ;sql.append("where r > ") ;sql.append(startRowNum) ;List<Map<String, Object>> rs = jdbcTamplate1.queryForList(sql.toString()) ;System.out.println((i+1)+"[]获得结果集记录数:"+rs.size());int[] ns = jdbcTamplate1.batchUpdate(Locrecord.INSERT_SQL, new LocrecordBatchSetter(rs)) ;System.out.println((i+1)+"[]本次batch记录数:"+ns.length);jdbcTamplate1.getDataSource().getConnection().commit() ;Thread.sleep(10000) ;System.out.println((i+1)+"[]本次循环结束!");}jdbcTamplate1.getDataSource().getConnection().setAutoCommit(true) ; 其中,Locrecord.INSERT_SQL这个就是简单的insert语句,只插入3个字段,后边的这个LocrecordBatchSetter也很简单,就是把新表的字段和旧表的字段对应上。比如:public void setValues(PreparedStatement pstmt, int i) throws SQLException {Map<String, Object> obj = list.get(i) ;pstmt.setString(1, obj.get("ID")+"") ;pstmt.setInt(2, (obj.get("X")) ;pstmt.setInt(3, obj.get("Y")) ;} 我是从一个库的表A导数据到另一个库的表B,他们的表结构不一样,只是提出部份可以匹配的字段。原表有数据73W,我每次导入3W,可是每次循环到21W数据的时候程序就没反应了。也不抛任何异常。控制台显示程序还在进行。去数据库一看,只有21W数据进入,剩下的就没戏了。想问问用过batch插入的兄弟们。你们碰见过这样的情况吗?应该如何解决呢?或者使用batch时,还应该注意哪些事情? 问题补充:iihero 写道
解决方案
第8行和第34行拿到的是同一个connection吗?第8行拿了把它放个变量里吧,下面直接操作这个connectionConncetion conn = jdbcTamplate2.getDataSource().getConnection()还有个问题,为什么第8行是jdbcTamplate2其它是jdbcTamplate1
解决方案二:
有一个值得怀疑的地方,几处connection,未必是同一个connection,先用同一个connection 试试。
解决方案三:
把每次3W条改成每次1W条
解决方案四:
引用关于事务,我是循环一次就提交一次啊。也就是说每3W条记录提交一次事务。那这个临时空间不就释放了么? 提交了事务,只是保证有一个checkpoint,但是日志中的数据并不一定马上写回数据文件。为什么不看看数据库服务器上的消息日志文件呢?
解决方案五:
引用关于事务,我是循环一次就提交一次啊。也就是说每3W条记录提交一次事务。那这个临时空间不就释放了么? 一个事务里做3W条,太多了,临时空间也需要3W条这么多。还是改少一点吧
解决方案六:
引用那不一样么?我一共73W数据,都要写事务日志。从日志记录上来说,一次3W和一次3条有什么不同么?最终不都是得写73W数据的日志? 一次3W,必须有3W条对应的可用日志空间,建议你看看redo log相关的资料。
解决方案七:
引用那不一样么?我一共73W数据,都要写事务日志。从日志记录上来说,一次3W和一次3条有什么不同么?最终不都是得写73W数据的日志? 应该是临时空间不够用了,一次事务提交后会释放临时空间的。
解决方案八:
针对每次提交,事务日志要记录这次提交的所有操作,包括数据,30000太大了,可能事务日志空间已满。
解决方案九:
为什么会这现这种问题呢?原因是什么,怎么理解呢?
解决方案十:
再改小一点吧。多少条记录也没有个一定的,根据单条记录的数据量来看,如果一条记录数据量就很多,那么一次能处理的就少一点。
解决方案十一:
每次3W太大了,每次2000吧。