MappedByteBuffer 读取多个超大文件

起因

女朋友用matlab跑出来256个大文件，每个文件300M,每次做数据处理的时候需要读取每个文件的指定行，作为一个数据，也就是说，第一份数据就是这256个文件中的第一行，每行读取出来之后进行一定的格式改变，然后写入到文件中。

思考

• 为了先让她可以跑测试数据，我就需要先提取出一条数据来让她测试，简单用BufferedReader 来实现一个版本
• 循环读取文件，每次读取完之后close,想着这样虽然慢一点，但是只读一条数据，应该还是可以的。

结果

• 跑起来之后三分钟只读取了6条，太慢了
• cpu 60%, 内存 80%，磁盘100%（瓶颈在磁盘）
• 马上准备改用MappedByteBuffer来读取

内存映射文件

• 内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而且在对该文件进行操作之前必须首先对文件进行映射。使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。
• 文件有很多，并且每个都很大，现在我的内存是固定的且和文件比是很小的。内存映射文件也就是，先把文件地址先读取到内存，然后这个就直接映射成整个文件。也就是当我新建了一个MappedByteBuffer[]数组，每个对象映射到每个文件，就相当于我现在把所有的文件都加载到了内存
• 读取的时候当一部分内容已经加载进内存了，就直接从内存读取，当读取的指针发现数据在内存中没有加载的时候，就会触发去磁盘读取这部分数据，加载到内存，之前已经加载的内存数据就作废处理。这样相当于我们已经在内存里加载了全部的数据

private void map() throws Exception {
        for (int i = 1; i <= 256; i++) {
            File channel = new File( i + " ChannelMatricesPerRay.txt");
            FileInputStream channelInputStream = new FileInputStream(channel);
            channelMappedBuffer[i - 1] = channelInputStream.getChannel().map(FileChannel.MapMode.READ_ONLY, 0, channel.length());
            File delay = new File( i + " Rays.txt");
            FileInputStream delayInputStream = new FileInputStream(delay);
            delayMappedBuffer[i - 1] = delayInputStream.getChannel().map(FileChannel.MapMode.READ_ONLY, 0, delay.length());
        }
    }

按行读取数据

private String getNextLine(String fileType, Integer fileNumber) {
        byte aByte = new Byte("0");
        List bytes= new ArrayList<>();
        // byte == 10 的话就是 \n
        while(aByte != 10) {
            if("channel".equals(fileType)) {
                aByte = channelMappedBuffer[fileNumber].get();
            }else {
                aByte = delayMappedBuffer[fileNumber].get();
            }
            bytes.add(aByte);
        }
        byte[] resultBytes = new byte[chars.size()];
        for (int j = 0; j < chars.size(); j++) {
            resultBytes [j] = chars.get(j);
        }
        return new String(resultBytes);
    }

现象

• cpu 80%, 磁盘 80%, 内存90%
• 当生成 5000 个文件之后，速度明显下降，生成1000文件花销时间是5000的两到三倍

开始以为是程序写炸了，观察监控，发现在写入5000个文件之后突然磁盘上升到100%，开启debug模式再次重跑，一样的问题，开始调试业务代码，发现没有错误。再次观察监控，发现磁盘又降下去了，这时候就明白了。应该是一开始加载到内存的数据差不多读完了，开始从磁盘读取下一份数据。然后机械硬盘读取速度又很慢，所以导致看到的现象是卡住了一样。

改变

性能瓶颈是磁盘读取原数据速度，这边直接将原始文件拷贝至C盘（固态硬盘），这时候读写速度应该就解决了，果不其然，当源文件和写出的文件全部放到固态硬盘之后，磁盘最高也就50%，读取数据100M/S,写入速度也上升了一个档次30M/S,最后这个任务被完美解决了。

总结

• 这次学习到了内存映射（MappedByteBuffer）的用法和对它有一点认知。
• 还是有需要改进的地方，这次所有的代码都是用单线程的，可以在改进成每条数据处理和写出作为一个任务，开多线程去跑，让磁盘写出不成为瓶颈
• 不支持断点续跑的功能，这个还需要想一下怎么实现