java 多线程处理大文件_java使用多线程读取超大文件

接上次写的“JAVA读取超大文件”。在读取超过10G的文件时会发现一次读一行的速度实在是不能接受，想到使用多线程+FileChannel来做一个使用多线程版本。

基本思路如下：

1.计算出文件总大小

2.分段处理,计算出每个线程读取文件的开始与结束位置

(文件大小/线程数)*N,N是指第几个线程,这样能得到每个线程在读该文件的大概起始位置

使用"大概起始位置",作为读文件的开始偏移量(fileChannel.position("大概起始位置")),来读取该文件,直到读到第一个换行符,记录下这个换行符的位置,作为该线程的准确起 始位置.同时它也是上一个线程的结束位置.最后一个线程的结束位置也直接设置为-1

3.启动线程,每个线程从开始位置读取到结束位置为止

代码如下:

读文件工具类

import java.io.*;

import java.nio.ByteBuffer;

import java.nio.channels.FileChannel;

import java.util.Observable;

/**

* Created with IntelliJ IDEA.

* User: okey

* Date: 14-4-2

* Time: 下午3:12

* 读取文件

*/

public class ReadFile extends Observable {

private int bufSize = 1024;

// 换行符

private byte key = "\n".getBytes()[0];

// 当前行数

private long lineNum = 0;

// 文件编码,默认为gb2312

private String encode = "gb2312";

// 具体业务逻辑监听器

private ReaderFileListener readerListener;

public void setEncode(String encode) {

this.encode = encode;

}

public void setReaderListener(ReaderFileListener readerListener) {

this.readerListener = readerListener;

}

/**

* 获取准确开始位置

* @param file

* @param position

* @return

* @throws Exception

*/

public long getStartNum(File file, long position) throws Exception {

long startNum = position;

FileChannel fcin = new RandomAccessFile(file, "r").getChannel();

fcin.position(position);

try {

int cache = 1024;

ByteBuffer rBuffer = ByteBuffer.allocate(cache);

// 每次读取的内容

byte[] bs = new byte[cache];

// 缓存

byte[] tempBs = new byte[0];

String line = "";

while (fcin.read(rBuffer) != -1) {

int rSize = rBuffer.position();

rBuffer.rewind();

rBuffer.get(bs);

rBuffer.clear();

byte[] new