问题描述
利用Hibernate,连接池使用的是BoneCP,做了一个MySql批量插入和批量更新的Demo,出现了下面两个问题。 1.批量插入。我采用的是原生态的JDBC,每次批量插入60条数据左右(数据量不固定)，循环3000次。每次在循环到100次左右的时候，会出现“com.jolbox.bonecp.ConnectionPartition - BoneCP detected an unclosed connection and will now attempt to close it for you. You should be closing this connection in your application - enable connectionWatch for additional debugging assistance.”，紧接着程序就没有反映了。 2.批量更新。每次批量更新的数据量大约在3w条左右，居然要耗时16秒左右，有没有办法提高性能至2秒左右。代码如下：String sql = "replace into savedata(id , saveId , saveKey , value)values(?,?,?,?)"; Session session = getSessionFactory().openSession(); Connection conn = session.connection(); Transaction tx=getSessionFactory().openSession().beginTransaction(); try { PreparedStatement stmt=conn.prepareStatement(sql); for (Savedata savedata : list) { stmt.setString(1, savedata.getId()); stmt.setString(2, savedata.getSaveId()); stmt.setString(3, savedata.getSaveKey());stmt.setString(4, savedata.getValue());stmt.addBatch();}stmt.executeBatch();tx.commit();} catch (Exception e) {}finally{try {conn.close();} catch (SQLException e) {log.warn("the db connection cant not close!" ,e);}if(session.isOpen())session.close();} 问题补充：连接池采用的是BoneCP , 感觉比cp30 ,proxool性能要好。配置如下：<property name="driverClass" value="com.mysql.jdbc.Driver" /><property name="jdbcUrl"value="jdbc:mysql://localhost:3306/ugms" /><property name="username" value="root" /><property name="password" value="password" /><property name="idleConnectionTestPeriod" value="60" /><property name="idleMaxAge" value="240" /><property name="maxConnectionsPerPartition" value="30" /><property name="minConnectionsPerPartition" value="10" /><property name="partitionCount" value="3" /><property name="acquireIncrement" value="5" /><property name="statementCacheSize" value="100" /><property name="releaseHelperThreads" value="3" />
解决方案
对于这种大数据量的更新情况，可以采用多线程的方式，每个线程更新100条数据，这样就能提高更新的速度了当然这里的100只是一个猜想值，哪个值合适，需要你测试才能得出。我想的话，应该能比单线要快些，至于能不能优化到2s，这个就不清楚了同时需要注意你的连接池大小、线程池大小（核心线程数）。这些资源也会影响到你的更新速度（即这些资源不能出现竞争）最后，我对你需要更新这么大的数据量操作有一些疑问：这个操作是online的吗？这个操作的返回是实时的吗？对于大数据量的更新一般会做成一个异步的操作，而不需要是实时的
解决方案二：
对于这种特殊的操作为什么还要必须使用hibernate呀，是用JDBC可以大大提高插入和更新的速度，hibernate也是可以直接执行sql的吧（如果我记得不错的话，好久不用了，抱歉），另外，stmt.addBatch(); 其实对于mysql来说，只是在网络传输上少了几次，但是，数据库还是需要每条sql语句都解析的，因此，根本没有节省太多的时间，网络的传输时间在一次sql的执行过程中，一般占到30%的时间； 另外，将数据拼装成这样的sql，如：insert into a (a, b, c) values (1,2,3),(2,3,4),(4,4,4)......，其插入效率是很高的，如果表不是太大，每秒可以插入上千条数据；