java对大文件的递归读取

简介

我们在平常的项目开发中可能会遇到各种文件操作,对于单个文件或是小目录(目录文件数量不多)文件的处理可能很简单,但是如果是对于大型文件迁移场景呢,一个目录下的文件可能入流水般在不断涌入,而且在各种情况下或是初始情况下,该目录有500G甚至更多的文件,此时使用基础api或是工具类去处理,可能对于读取的操作都会让你的程序"杳无音讯",阻塞在获取文件的代码行,迟迟得不到响应,如果有兴趣不妨一试....

一、常规处理方案

方式一 jdk基础api

File dir = new File("/data/woks");
File[] files = dir.listFiles();
for(File f : files){
    //进行单个文件f的业务处理
}

方式二 apache文件io处理工具类

File dir = new File("/data/woks");
Collection files = FileUtils.listFiles(dir, null, true);
for(File f : files){
     //进行单个文件f的业务处理
}

备注:虽然该工具类给我们提供了大量的文件处理方式,可参考我的另外一篇博文《一文搞定所有文件类操作业务场景》的介绍,可能也还有其他第三方开源工具类,但博主目前尝试过其中一部分对于今天要讨论的场景依然无法处理,接下来请看今天要分享的终极处理方案!

二、终极处理方案

jdk1.7开始提供了非阻塞api-Files.walkFileTree进行文件的读取,再此api上封装了一个常用的工具类,如有用请自取!
工具类使用演示

package cn.seally.transfer.util;

import java.io.File;
import java.io.IOException;
import java.nio.file.*;
import java.nio.file.attribute.BasicFileAttributes;
import java.util.ArrayList;
import java.util.List;

/**
 * @Description 超大文件夹文件读取工具类，超大文件夹无法使用工具类进行一次性遍历，文件过多受内存和扫描时间影响，无法直接读取，采用此工具类分批次读取不阻塞
 * @Date 2021/7/7 23:43
 * @Author dengningcheng
 **/
public class BigDirScanner {

    /**
     * @Description 遍历目录baseDir下的文件，获取batchSize个之后返回
     * @Date 2021/7/8 00:21
     * @Author dengningcheng
    **/
    public static List batchScanFile(String baseDir,int batchSize) throws IOException {
        List files = new ArrayList<>();
        // 使用FileVisitor对目录进行遍历
        Files.walkFileTree(Paths.get(baseDir), new SimpleFileVisitor() {
            @Override
            public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) {
                return FileVisitResult.CONTINUE;
            }
            @Override
            public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) {
                File f = file.toFile();
                if(!f.isHidden()){
                    files.add(f);
                }
                if (files.size() >= batchSize) {
                    return FileVisitResult.TERMINATE;
                }
                return FileVisitResult.CONTINUE;
            }
            @Override
            public FileVisitResult visitFileFailed(Path file, IOException exc) throws IOException {
                return super.visitFileFailed(file, exc);
            }
            @Override
            public FileVisitResult postVisitDirectory(Path dir, IOException exc) throws IOException {
                return super.postVisitDirectory(dir, exc);
            }
        });
        return files;
    }

    /**
     * @Description 使用演示
     * @Date 2021/7/8 00:21
     * @Author dengningcheng
    **/
    public static void main(String[] args) throws IOException {
        List files = BigDirScanner.batchScanFile("/data/woks", 100);
        for(File f : files){
            //进行单个文件f的业务处理
        }
    }
}

当然该工具类只是起到抛砖引玉的作用,在Files.walkFileTree的基础上可以封装出各种场景下比如读取文件时一并清理空目录,只读取指定后缀格式的文件等等,如需要大家可自行进行封装!

千里之行,始于足下!