从Linux内核理解JAVA的NIO

前言

IO 可以简单分为磁盘 IO 和 网络 IO ,磁盘 IO 相对于网络 IO 速度会快一点，本文主要介绍 磁盘 IO ，网络 IO 下周写。

JAVA 对 NIO 抽象为 Channel , Channel 又可以分为 FileChannel （磁盘 io）和 SocketChannel （网络 io）。

如果你对 IO 的理解只是停留在 api 层面那是远远不够的，一定要了解 IO 在系统层面是怎么处理的。

本文内容：

• FileChannel 读写复制文件的用法。
• ByteBuffer 的介绍
• jvm 文件进程锁，FileLock
• HeapByteBuffer ，DirectByteBuffer 和 mmap 谁的速度更快
• 从 Linux 内核 中的 虚拟内存 、系统调用、文件描述符、Inode、Page Cache 、缺页异常讲述整个 IO 的过程
• jvm 堆外的 DirectByteBuffer 的内存怎么回收

本文计算机系统相关的图全部来自 《深入理解计算机系统》

对 Linux 的了解都是来自书上和查阅资料，本文内容主要是我自己的理解和代码验证，有的描述不一定准确，重在理解过程即可。

NIO

NIO 是 从 Java 1.4 开始引入的，被称之为 Non Blocking IO，也有称之为 New IO。

NIO 抽象为 Channel 是面向缓冲区的（操作的是一块数据），非阻塞 IO。

Channel 只负责传输，数据由 Buffer 负责存储。

Buffer

Buffer 中的 capacity、limit 和 position 属性是比较重要的，这些弄不明白，读写文件会遇到很多坑。

capacity 标识 Buffer 最大数据容量，相等于一个数组的长度。

limit 为一个指针，标识当前数组可操作的数据的最大索引。

position 表示为下一个读取数据时的索引

@Test
public void run1() {
    // `DirectByteBuffer`
    final ByteBuffer byteBuffer = ByteBuffer.allocateDirect(1024);
    // `HeapByteBuffer`
    final ByteBuffer allocate = ByteBuffer.allocate(1024);
}

HeapByteBuffer 会分配在 Jvm堆内，受 JVM 堆大小的限制，创建速度快，但是读写速度慢。实际底层是一个字节数组。

DirectByteBuffer 会分配 Jvm 堆外，不受 JVM 堆大小的限制，创建速度慢，读写快。DirectByteBuffer 内存在 Linux 中，属于进程的堆内。DirectByteBuffer 受 jvm 参数 MaxDirectMemorySize 的影响。

设置 jvm 堆 100m，运行程序报错 Exception in thread "main" java.lang.OutOfMemoryError: Java heap space。因为指定了 jvm 堆为 100m，然后一些 class 文件也会放在 堆中的，实际堆内存时不足 100m,当申请 100m 堆内存只能报错了。

public class BufferNio {
    // -Xmx100m
    public static void main(String[] args) throws InterruptedException {
        // HeapByteBuffer 是 jvm 堆内，因为堆不足分配 100m(java 中的一些 class 也会占用堆)，导致 oom
        System.out.println("申请 100 m `HeapByteBuffer`");
        Thread.sleep(5000);
        ByteBuffer.allocate(100 * 1024 * 1024);
    }
}

设置 jvm 堆为 100m，MaxDirectMemorySize 为 1g，死循环创建 DirectByteBuffer，打印 10 次 申请 directbuffer 成功，报错 Exception in thread "main" java.lang.OutOfMemoryError: Direct buffer memory，后面再说这个堆外的 DirectByteBuffer 怎么进行回收。

public class BufferNio {
//    -Xmx100m -XX:MaxDirectMemorySize=1g
    public static void main(String[] args) throws InterruptedException {
        System.out.println("申请 100 m DirectByteBuffer");
        final ArrayList