java 使用线程池处理文件夹下面的文件


读取某个文件夹下面的所有文件,使用多线程处理,例如读取E盘下面的文件内容:

package thread;

import java.io.File;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;

public class BigDataFile {
	
	private class DealFile implements Runnable
	{
		
		//存放遍历的结果
		BlockingQueue<File> bFile = null;
		
		//每个线程独有的file文件夹
		File file = null;
		
		public DealFile(BlockingQueue<File> bFile, File file)
		{
			this.bFile = bFile;
			this.file = file;
		}

		@Override
		public void run() {
			getFileName(file.listFiles());
		}
		
		/**
		 * 迭代遍历文件夹。
		 * */
		private final void getFileName(File[] fileDirectory)
		{
			for(File file : fileDirectory)
			{
				if(file.isDirectory())
				{
					//继续迭代处理
					getFileName(file.listFiles());
				}
				else
				{
					//输出文件的名称
					System.out.println(file.getName());
					bFile.add(file);
				}
			}
		}
	}
	
	public static void main(String[] args) throws InterruptedException {
		
		/**
		 * 由于LinkedBlockingQueue实现是线程安全的,实现了先进先出等特性,是作为生产者消费者的首选,LinkedBlockingQueue 
		 * 可以指定容量,也可以不指定,不指定的话,默认最大是Integer.MAX_VALUE,
		 * 其中主要用到put和take方法,put方法在队列满的时候会阻塞直到有队列成员被消费,take方法在队列空的时候会阻塞,
		 * 直到有队列成员被放进来。
		 * */
		BlockingQueue<File> bFile = new LinkedBlockingQueue<File>();
		
		//需要遍历的文件夹
		File file = new File("D://");
		
		//线程池
		ExecutorService es = Executors.newCachedThreadPool();
		
		BigDataFile bf = new BigDataFile();
		
		/**
		 * new File("D://") 文件夹下面有几个文件夹new 几个线程执行。
		 * */
		for(File f : file.listFiles())
		{
			if(f.isDirectory())
			{
				es.execute(bf.new DealFile(bFile, f));
			}
			else
			{
				System.out.println(f.getName());
				bFile.add(f);
			}
		}
		
		//关闭线程池
		es.shutdown();
	}
	
}

你可能感兴趣的:(java,thread,多线程)