java大文件-java 大文件处理及内容匹配

问题描述

java 大文件处理及内容匹配

读取5G左右txt文件，内容都是由一定格式的长字符串组成，如{a:xxxxxxx}{b:xxxxxx}{c:xxxxxx}...
其中{a:xxxxxxx}为一段，{b:xxxxxxx}为下一段，依次类推.
要求:如果{a:xxxxxxx}中包含目标字符串“XXX”，则将{a:xxxxxxx}输出到文件。
目前基本功能已实现，但处理效率比较低，求大牛们提供好的解决思路。

解决方案

每次读取10MB左右的数据，然后分多个块，让多个线程去匹配。循环直到完成。

解决方案二：

用多线程处理，或者一开始就把物理文件分割成若干较小的文件

解决方案三：

Java对大文件的处理
java 大文件处理
Java处理大文件

时间： 2024-09-19 09:36:10

java大文件-java 大文件处理及内容匹配的相关文章

线程-java调用sqlplus下载数据库文件到本地后，如果用java关闭此进程，大神戳进来

问题描述 java调用sqlplus下载数据库文件到本地后,如果用java关闭此进程,大神戳进来 1.用java调用sqlplus,将指定的存储过程下载到本地作为文本文件2.在java读取此本地文件做处理,处理后写1个新的文本文件在本地我将上面2个步骤用2个进程thread1,thread2因为步骤2必须等步骤1结束才能执行,所以我调用thread1.start()thread1.join()以及thread2.start().但是运行结果是每次都只执行出了步骤1,步骤2执行不出来.考虑是否在步

编程语言-java编程，读取jar文件的属性，编到一半就进行不下去了，求大神帮忙

问题描述 java编程,读取jar文件的属性,编到一半就进行不下去了,求大神帮忙 package cksj; import java.awt.*; import java.awt.event.*; import javax.swing.*; import java.io.*; public class JAR extends JFrame{ JFileChooser j=new JFileChooser();//文件选择器 JPanel p1=new JPanel(); JPanel p2=ne

java kml-java生成kml文件,求大神帮忙！

问题描述 java生成kml文件,求大神帮忙! 拿到了经纬度信息,需要用经纬度信息生成kml文件,求大神指导java怎么写? 解决方案 参考这里:http://blog.csdn.net/hnyzwtf/article/details/51453693

Java实现FTP批量大文件上传下载篇1_java

本文介绍了在Java中,如何使用Java现有的可用的库来编写FTP客户端代码,并开发成Applet控件,做成基于Web的批量.大文件的上传下载控件.文章在比较了一系列FTP客户库的基础上,就其中一个比较通用且功能较强的j-ftp类库,对一些比较常见的功能如进度条.断点续传.内外网的映射.在Applet中回调JavaScript函数等问题进行详细的阐述及代码实现,希望通过此文起到一个抛砖引玉的作用. 一.引子 笔者在实施一个项目过程中出现了一种基于Web的文件上传下载需求.在全省(或全国)各地的用

Java Mysql blob 存取大文件时内存溢出如何解决？

问题描述 今天模拟一些数据,需要将一些大文件我用的是755M(可以更大)存入到Mysql的一个longblob字段中.我使用了pstmt.setBinaryStream(2, fis, f.length());的方式,但总是抛出异常.貌似Mysql 的JDBC总是先将stream中的数据读成byte[]然后再往数据库中存,所以总是内存溢出,不知哪位高人可有解决方案?!我的代码: ApplicationContext contxt = new ClassPathXmlApplicationCont

Java中使用WebUploader插件上传大文件单文件和多文件的方法小结_java

一.使用webuploader插件的原因说明 被现在做的项目坑了. 先说一下我的项目架构spring+struts2+mybatis+MySQL 然后呢.之前说好的按照2G上传就可以了,于是乎,用了ajaxFileUpload插件,因为之前用图片上传也是用这个,所以上传附件的时候就直接拿来用了 各种码代码,测试也测过了,2G文件上传没问题,坑来了,项目上线后,客户又要求上传4G文件,甚至还有20G以上的..纳尼,你不早说哦... 在IE11下用ajaxFileUpload.js插件上传超过4G的

java对数据库的大文件的操作(SQLServer2000)

编写的把文件的内容写入到数据库的代码如下 首先 建立 数据库表 id char data image(注意此处不要用text类型 text类型与binary不兼容) 代码如下: import java.io.*; import java.sql.*; public class Db { public static void main(String[] args) { Db ac = new Db(); String blobname = "D:\\test1.txt"; //blob文

大神帮帮忙-java中如何获取一个文件的文件头信息

问题描述 java中如何获取一个文件的文件头信息 有没有一个方法获取一个文件的文件头.这个文件是a.exe,求教了! 解决方案 exe使用的是pe格式,参考:http://www.cnblogs.com/lzjsky/archive/2011/09/22/2184942.html 解决方案二: 所谓文件头,没有一个确切的概念,不同的文件类型,文件头的含义不同,长度不同. 如果你希望简单判断下文件类型,那么你只需要读取文件开头几个字节,这不算文件头,一般叫做文件特征. 比如exe,它开头两个字节应

Java编程那些事儿86——文件操作之File类使用

11.3 I/O类使用 由于在IO操作中,需要使用的数据源有很多,作为一个IO技术的初学者,从读写文件开始学习IO技术是一个比较好的选择.因为文件是一种常见的数据源,而且读写文件也是程序员进行IO编程的一个基本能力.本章IO类的使用就从读写文件开始. 11.3.1 文件操作 文件(File)是最常见的数据源之一,在程序中经常需要将数据存储到文件中,例如图片文件.声音文件等数据文件,也经常需要根据需要从指定的文件中进行数据的读取.当然,在实际使用时,文件都包含一个的格式,这个格式需要程序员根据需要