Java读取文件加速

在执行IO时,Java的InputStream被广泛使用,比如DataInputStream.readInt等等。事实上,这些高度封装的接口奇慢无比。我有一个项目启动时需要读取90MB左右的词典文件,用DataInputStream耗时3秒以上,换用java.nio包直接操作内存字节,可以加速到300ms左右,整整提速10倍!当然,前提是你熟悉位运算。

java.nio中提供了两个类 FileChannel 和 ByteBuffer来将文件映射到内存,其中FileChannel表示文件通道,ByteBuffer是一个缓冲区。

具体步骤

①从FileInputStream、FileOutputStream以及RandomAccessFile对象获取文件通道

②将文件内存映射到ByteBuffer

③通过byteBuffer.array()接口得到一个byte数组

④直接操作字节

示例代码

FileInputStream fis = new FileInputStream(path);
// 1.从FileInputStream对象获取文件通道FileChannel
FileChannel channel = fis.getChannel();
int fileSize = (int) channel.size();

// 2.从通道读取文件内容
ByteBuffer byteBuffer = ByteBuffer.allocate(fileSize);

// channel.read(ByteBuffer) 方法就类似于 inputstream.read(byte)
// 每次read都将读取 allocate 个字节到ByteBuffer
channel.read(byteBuffer);
// 注意先调用flip方法反转Buffer,再从Buffer读取数据
byteBuffer.flip();
// 可以将当前Buffer包含的字节数组全部读取出来
byte[] bytes = byteBuffer.array();
byteBuffer.clear();
// 关闭通道和文件流
channel.close();
fis.close();

int index = 0;
size = Utility.bytesHighFirstToInt(bytes, index);
index += 4;

其中,如果你当初使用了DataOutputStream.writeInt来保存文件的话,那么在读取的时候就要注意了。writeInt写入四个字节,其中高位在前,低位在后,所以将byte数组转为int的时候需要倒过来转换:

 /**
 * 字节数组和整型的转换,高位在前,适用于读取writeInt的数据
 *
 * @param bytes 字节数组
 * @return 整型
 */
public static int bytesHighFirstToInt(byte[] bytes, int start) {
    int num = bytes[start + 3] & 0xFF;
    num |= ((bytes[start + 2] << 8) & 0xFF00);
    num |= ((bytes[start + 1] << 16) & 0xFF0000);
    num |= ((bytes[start] << 24) & 0xFF000000);
    return num;
}
时间: 2024-08-04 11:43:01

Java读取文件加速的相关文章

Java读取文件内容的小例子

Java 提供 BufferedReader 类用来从流中读取字符串.FileReader 类用来读取文件.我们用这两个类来读取文件中的字符串. 下面是一个例子: import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;public class ReadFile{ public static void main(String[] args){ String path="c:/1.txt&

线程-java读取文件插入到数据库程序

问题描述 java读取文件插入到数据库程序 在OEPE上开发一个java项目,实现2个线程同时循环往Oracle中插入staff.txt中读到的数据,表结构随意,id自增,两线程无限循环,不使用框架,直接在Junit启动. 解决方案 java实现读取XML文件数据插入到数据库中 解决方案二: 首先,OEPE是什么东西呢?这个文件由两个线程同时读取吗?这个可以是一个建单的应用,定义一个线程类,其run主要就是解析文件的内容插入到数据库.然后在main函数中同时启动两个线程,处理文件内容.

[转Java读取文件]各种流

[Java]读取文件方法大全 1.按字节读取文件内容 2.按字符读取文件内容 3.按行读取文件内容  4.随机读取文件内容 public class ReadFromFile {     /**      * 以字节为单位读取文件,常用于读二进制文件,如图片.声音.影像等文件.      */     public static void readFileByBytes(String fileName) {         File file = new File(fileName);     

写文件-Java读取文件然后再修改回去

问题描述 Java读取文件然后再修改回去 有一个文件存着很多对象,现在读取其中的一个对象,然后 将其修改,最终再将这个对象再保存回原文件.这个怎么实现.C语言由于可以控制读文件指针,所以可以定位指正到指定的位置,可是Java怎么修改文件指针? 解决方案 可以试试RandomAccessFile类. 解决方案二: 在Java下使用DOM来读取/修改Xml文件java 修改 读取properties文件 解决方案三: 可以试试RandomAccessFile类. 解决方案四: 可以试试RandomA

java读取文件和写入文件的方式(简单实例)_java

Java代码 public class ReadFromFile { /** * 以字节为单位读取文件,常用于读二进制文件,如图片.声音.影像等文件. */ public static void readFileByBytes(String fileName) { File file = new File(fileName); InputStream in = null; try { System.out.println("以字节为单位读取文件内容,一次读一个字节:"); // 一次读

Java 读取文件方法大全_java

1.按字节读取文件内容 public class ReadFromFile { public static void readFileByBytes(String fileName) { File file = new File(fileName); InputStream in = null; try { System.out.println("以字节为单位读取文件内容,一次读一个字节:"); // 一次读一个字节 in = new FileInputStream(file); in

Java读取文件性能优化程序代码

在执行IO时,Java的InputStream被广泛使用,比如DataInputStream.readInt等等.事实上,这些高度封装的接口奇慢无比.我有一个项目启动时需要读取90MB左右的词典文件,用DataInputStream耗时3秒以上,换用java.nio包直接操作内存字节,可以加速到300ms左右,整整提速10倍!当然,前提是你熟悉位运算. java.nio中提供了两类 FileChannel 和 ByteBuffer来将文件映射到内存,其中FileChannel表示文件通道,Byt

简单的java读取文件示例分享_java

可以作如下理解: 首先获得一个文件句柄.File file = new File(); file即为文件句柄.两人之间连通电话网络了.接下来可以开始打电话了 通过这条线路读取甲方的信息:new FileInputStream(file) 目前这个信息已经读进来内存当中了.接下来需要解读成乙方可以理解的东西 既然你使用了FileInputStream().那么对应的需要使用InputStreamReader()这个方法进行解读刚才装进来内存当中的数据 解读完成后要输出呀.那当然要转换成IO可以识别

java正则表达式的应用 java读取文件并获取电话号码_java

实现功能:读取文件,将其中的电话号码存入一个Set返回. 方法介绍: find():尝试查找与该模式匹配的输入序列的下一个子序列. group():返回由以前匹配操作所匹配的输入子序列. 1.从一个字符串中获取出其中的电话号码 import java.util.HashSet; import java.util.Set; import java.util.regex.Matcher; import java.util.regex.Pattern; /** * 从字符串中截取出电话号码 * @au