问题描述
现在有个需求，要求表中所有的记录写入文件。（定时写，每天写2次）表中的记录行是500W左右（假设）现在有两种方式。1.连接oracle后，查询返回resultSet，遍历resultSet同时写入文件，读一行写一行。2.连接oracle后，分页查询数据到list，在吧这个list写入文件两种方式都各有好处：1，整个操作速度快，不用吧返回的数据再封装成list，而且也只需查询一次，问题是在整个过程中connnection都是没有释放的，直到数据写完。2，速度慢，500W数据，分页1000行一次，每次查询都要花费1-3S，越往后翻页越慢，查询出来的数据还要封装到list中。优势是每次查询都是短连接，查询一次connection断开，下次循环再连接。这里不直到有没有更好的方法，或者是说其中哪种方法更好。我这里担心长连接是否会有问题。 问题补充：kidding87 写道
解决方案
其实两个差不多，对于oracle来说要比mysql强的多它有个fetchsize表示一次性抓取的行数到内存中当你rs滚动的时候，它也随之抓取数据，分页不分页的没什么影响你说的数据查询一次要3S这个时间上有点长了connection不释放就不释放了，又不会咋样的，连接池还不一样不释放
解决方案二：
肯定不会了，oralce这么贵的东西，是那么脆弱的么。。。楼下提供了一个不错的方法，生产消费模式开启两个线程，一个读数据，一个写数据
解决方案三：
第一种方式用两个线程，第一个线程查询返回resultSet，遍历resultSet先加到一个10000条的数组；数组满了以后，再用另一个线程把数据写入文件，这时第一个线程使用一个新的空数组缓存数据。就是生产者-消费者模式。