Java NIO 编程

1. 简介

Java NIO 是 JDK 1.4 中引入的新的 IO 方式,它主要包含 Buffer、Channel、Selector 这三个核心的组件,它与传统 IO 的区别如下:

NIO

IO

面向缓冲

面向流

同步非阻塞

同步阻塞

多路复用(选择器)

1.1 面向缓冲

传统的 IO 是面向流的,传统 IO 每次从流中读取一个或者多个字节,直至读取完所有的字节。而 NIO 是面向缓冲区的,所有的读写操作都需要通过 Buffer 来完成,数据会被先写入 Buffer 中,然后再进行处理,Buffer 提供了多种方法用于操纵其中的数据,因此其在操作上更加灵活,读取速度也更加快。

1.2 同步非阻塞

传统 IO 的流都是单向的,因此它们需要分为 Input Stream 和 Output Stream。而 NIO 中的 Channel 则是双向的,数据可以从 Channel 读到 Buffer 中,也可以从 Buffer 写到 Channel:

Java NIO 编程_第1张图片

注意:从 Channel 写入到 Buffer 执行的是 read 方法,而从 Buffer 写出到 Channel 执行的是 write 方法。

Channel 可以设置为非阻塞模式,此时当 Channel 从 Buffer 中读取数据时,如果有待读取的数据则返回该数据;如果没有待读取的数据,对应的方法也不会阻塞,而是直接返回。

1.3 多路复用

Java NIO 通过 Reactor 模型实现了 IO 的多路复用,可以在一个线程上通过一个选择(Selector)使用轮询的方式去监听多个通道 Channel 上注册的事件,从而在一个线程上就能实现对多个 Channel 的处理:

Java NIO 编程_第2张图片

2. Buffer

2.1 缓冲区属性

Java NIO 编程_第3张图片

所有缓冲区(ByteBuffer、FloatBuffer、IntBuffer、DoubleBuffer、ShortBuffer、LongBuffer、CharBuffer、MappedByteBuffer)都直接或间接继承自 Buffer 抽象类,Buffer 中定义了缓冲区的四个基本属性:

public abstract class Buffer {
 
    private int capacity;
    private int limit;
    private int position = 0;
    private int mark = -1;
    ...
}

容量 (Capacity) 缓冲区所能容纳元素的个数。

上界 (Limit):缓冲区中现存元素的个数。

位置 (Position):下一个待操作元素的索引。

标记 (Mark):标记位置。通过 `mark()` 方法可以让 mark 等于当前 position;之后通过 `reset()` 方法可以让 position 恢复到标记位置。

2.2 创建缓冲区

通常可以通过以下两种方法来创建缓冲区:

allocate():通过指定缓冲区的容量大小来创建:

CharBuffer buffer = CharBuffer.allocate(100);

wrap():通过为缓冲区指定初始化数组来创建:

char[] chars = new char[100];
CharBuffer buffer = CharBuffer.wrap(chars);

实际上,在缓冲区内部就是通过数组来存储元素,以 CharBuffer 为例,它的内部维持有一个名为 `hb` 的数组,用来存放实际的元素:

public abstract class CharBuffer extends Buffer implements Comparable<CharBuffer>, Appendable, CharSequence, Readable
{
    final char[] hb;  
    ...
}

缓冲区创建完成后,它处于以下初始状态:

Java NIO 编程_第4张图片

2.3 操作缓冲区

2.3.1 put()

用于向缓冲区中填充数据。以 CharBuffer 为例,有以下四个常用的重载方法:

// 使用字符串填充数据
put(String src)
// 使用字符串填充数据,start为字符串的开始位置,end为字符串的结束位置(不包含)
put(String src, int start, int end)
// 使用数组填充数据
put(char[] src)
// 使用数组填充数据,offset为数组填充的开始位置,length为填充的长度,不允许越界  
put(char[] src, int offset, int length)

当我们向 Buffer 中添加数据后,position 属性也会随之变动:

Java NIO 编程_第5张图片

2.3.2 get()

用于读取缓冲区中的数据。以 CharBuffer 为例,有以下四个常用的重载方法:

// 获取当前位置(postion)的数据
char get();
// 获取指定位置的数据
char get(int index);
// 获取数据并填充到数组中
CharBuffer get(char[] dst)
// 获取数据并填充到数据中,offset为数组填充的开始位置,length为填充的长度,不允许越界  
CharBuffer get(char[] dst, int offset, int length) 

2.3.3 flip()

该方法会将 position 的值赋给 limit,然后将 position 设置为 0,从而可以由写模式切换到读模式。无论任何情况,只要由写操作转换到读操作,都需要先执行该方法。示例如下:

CharBuffer buffer = CharBuffer.allocate(100);
buffer.put("hello");
buffer.flip(); //由写模式切换到读模式
while (buffer.hasRemaining()) {
    System.out.println(buffer.get());
}
buffer.clear();

当使用 `filp()` 将 Buffer 由写模式切换到读模式后:position 属性会恢复到初始位置,代表从此处开始读取数据;limit 属性也会随之变动,代表我们所能读取数据的上界:

Java NIO 编程_第6张图片

当我们再通过 `get()` 方法进行读取时,position 属性会随之移动,position 和 limit 之间就是待处理的数据:

Java NIO 编程_第7张图片

2.3.4 hasRemaining()

`hasRemaining()` 用于判断当前的 position 是否小于 limit:如果 position 小于 limit,则返回 true,代表仍有待处理的数据。

2.3.5 clear()

`clear()` 并不会真的清除缓冲区中的数据,它只是将 position 设置为 0,并将 limit 设置为 capacity 的大小,从而让缓冲区恢复到初始状态:

Java NIO 编程_第8张图片

当有新的数据写入时,新的数据会覆盖原有位置上的数据。

2.3.6 compact()

用于压缩缓冲区,即将数组中待处理的数据复制到头部。如下所示,会将未读取的 `LL0` 复制到头部:

Java NIO 编程_第9张图片

需要注意的是这里执行的是复制操作,而不是移动操作,底层调用的是 `System.arraycopy` 方法,因此原有位置上的数据依然存在。但由于 position 会移动到未处理数据的下一个位置上,所以不用担心原有位置上的数据会被读取到,原因是你切换到读模式时,原有的 `LO` 数据仍处于 limit 之后:

Java NIO 编程_第10张图片

2.3.7 mark()

用于设置标志位,设置好后可以使用 `reset()` 将 position 恢复到该位置:

buffer.position(2).mark().position(5).reset().position(); //从位置2移动到位置5,之后又恢复到位置2

2.4 复制缓冲区

如果想要对一个已有的缓冲区进行复制,可以有以下三种方法:

public abstract CharBuffer duplicate();
public abstract CharBuffer asReadOnlyBuffer();
public abstract CharBuffer slice();

使用 `duplicate()` 复制的缓冲区具有以下特性:

- 与原缓冲区共享相同的数据元素,这意味着对原缓冲区数据的修改也会影响复制缓冲区;

- 复制缓冲区的 mark、position、limit、capcaity 属性的初始值与复制时原缓冲区的 mark、position、limit、capcaity 的值相同,但这些属性与原缓冲区的属性相互独立,创建后就不再受原有缓冲区的影响;

- 如果原缓冲区是只读缓冲区或直接缓冲区,则复制缓冲区也将继承这些属性。

Java NIO 编程_第11张图片

`asReadOnlyBuffer()` 与 `duplicate()` 类似,但创建的复制缓冲区为只读缓冲区。

`slice()` 也与 `duplicate()` 类似,但创建的复制缓冲区与原缓冲区只共享部分数据元素,并且所有标志位都处于原始状态:

Java NIO 编程_第12张图片

使用示例如下:

CharBuffer buffer = CharBuffer.allocate(100);
buffer.put("helloworld");
buffer.position(2).limit(5);
CharBuffer duplicate = buffer.duplicate();
buffer.position(3).limit(6);
CharBuffer slice = buffer.slice();

System.out.println("buffer:" + buffer.position() + "," + buffer.limit());     // buffer:3,6
System.out.println("duplicate:" + duplicate.position() + "," + duplicate.limit()); // duplicate:2,5
System.out.println("slice:" + slice.position() + "," + slice.limit());        //slice:0,3

2.5 直接缓冲区

ByteBuffer 支持使用 `allocateDirect()` 方法来创建直接缓冲区,示例如下:

ByteBuffer byteBuffer = ByteBuffer.allocate(100);

3. Channel

3.1 通道基础

Channel 接口的定义如下,其中定义了两个基础方法:

isOpen():判断当前 Channel 是否处于打开状态;

close():关闭当前 Channel 。Channel 关闭后,就不能在其上再进行任何 IO 操作,否则将抛出 ClosedChannelException 异常。

public interface Channel extends Closeable {

    public boolean isOpen();

    public void close() throws IOException;
}

对于常见的文件操作和网络操作都可以直接获取到其对应的 Channel:

// 获取serverSocketChannel
ServerSocket serverSocket = new ServerSocket(8888);
ServerSocketChannel serverSocketChannel = serverSocket.getChannel();

// 获取SocketChannel
Socket socket = new Socket("127.0.0.1", 8888);
SocketChannel socketChannel = socket.getChannel();

// 获取FileChannel
FileInputStream fileInputStream = new FileInputStream(new File("path"));
FileChannel fileChannel = fileInputStream.getChannel();

3.2 文件通道

FileChannel 是一个连接到文件的通道,通过该通道可以完成文件的读写。另外 FileChannel 无法设置为非阻塞模式,因为对文件读写操作设置非阻塞并没有什么意义。FileChannel 的使用示例如下:

// 示例:文件拷贝
try {
    FileInputStream inputStream = new FileInputStream(new File("D:\\a.png"));
    FileOutputStream outputStream = new FileOutputStream(new File("D:\\b.png"));
    FileChannel inChannel = inputStream.getChannel();
    FileChannel outChannel = outputStream.getChannel();
    ByteBuffer buffer = ByteBuffer.allocate(256);
    // 从输入channel中读取数据到buffer中
    while (inChannel.read(buffer) > 0) {
        // 由写模式切换到读模式
        buffer.flip();
        while (buffer.hasRemaining()) {
            //将buffer中的数据写出到输出channel
            outChannel.write(buffer);
        }
        buffer.clear();
    }
    inputStream.close();
    outputStream.close();
} catch (IOException e) {
    e.printStackTrace();
}

这里的最后我们只需要关闭 Stream 即可,其上的 Channel 也会被关闭,源码如下:

public void close() throws IOException {
    synchronized (closeLock) {
        if (closed) {
            return;
        }
        closed = true;
    }
    // 如果channel不为空,则关闭
    if (channel != null) {
       channel.close();
    }

    fd.closeAll(new Closeable() {
        public void close() throws IOException {
           close0();
       }
    });
}

3.3 Channel To Channel

在 Java NIO 中,如果两个 Channel 中有一个是 FileChannel,那么可以直接将数据从一个 Channel 传输到另外一个 Channel:

// 将该通道上的数据直接传送到目标通道
transferTo(long position, long count, WritableByteChannel target) ;
// 将原通道上的数据直接传送到该通道
transferFrom(ReadableByteChannel src, long position, long count)

还是以文件拷贝为例,使用示例如下:

try {
    FileInputStream inputStream = new FileInputStream(new File("D:\\a.png"));
    FileOutputStream outputStream = new FileOutputStream(new File("D:\\b.png"));
    FileChannel inChannel = inputStream.getChannel();
    FileChannel outChannel = outputStream.getChannel();
    inChannel.transferTo(0,inChannel.size(),outChannel);        //使用transferTo实现
    // outChannel.transferFrom(inChannel, 0, inChannel.size()); //使用transferFrom实现
    inputStream.close();
    outputStream.close();
} catch (IOException e) {
    e.printStackTrace();
}

3.4 Scatter/Gather

Java NIO 支持 scatter 和 gather 操作:

- 分散 (scatter):把 Channel 中的数据依次写入到多个 Buffer 上。示例如下:

ByteBuffer buffer01 = ByteBuffer.allocate(32);
ByteBuffer buffer02 = ByteBuffer.allocate(64);
ByteBuffer buffer03 = ByteBuffer.allocate(128);

ByteBuffer[] buffers = new ByteBuffer[]{buffer01, buffer02, buffer03};
fileInputStream.getChannel().read(buffers);

此时 Channel 中的数据会依次写入到 Buffer01, Buffer02, Buffer03 上。Scatter 通常用于固定长度数据的处理,假设一个数据单元由 header,body,footer 三部分组成,并且每部分的长度都是固定的,此时通过 Scatter 操作,每一组数据的 header,body,footer 都会分别固定地写到 Buffer01, Buffer02, Buffer03 上,此时就可以对每个 Buffer 应用不同的处理逻辑:

Java NIO 编程_第13张图片

聚集 (gather):将多个 Buffer 中的数据依次写入到同一个 Channel 上。示例如下:

ByteBuffer buffer01 = ByteBuffer.allocate(32);
ByteBuffer buffer02 = ByteBuffer.allocate(64);
ByteBuffer buffer03 = ByteBuffer.allocate(128);

ByteBuffer[] buffers = new ByteBuffer[]{buffer01, buffer02, buffer03};
fileInputStream.getChannel().read(buffers);

Java NIO 编程_第14张图片

3.5 Pipe

Java NIO 还提供了 Pipe 管道用于在不同线程之间传递数据:

Java NIO 编程_第15张图片

Pipe 管道可以通过 Pipe 类的静态方法 `open()` 来创建:

Pipe pipe = Pipe.open();

创建完成后可以通过其 `sink()` 和 `source()` 方法来创建对应的 SinkChannel 和 SourceChannel:

Pipe.SinkChannel sinkChannel = pipe.sink();
Pipe.SourceChannel sourceChannel = pipe.source();

SinkChannel 和 SourceChannel 的使用与基本的 Channel 类似,示例如下:

Pipe pipe = Pipe.open();
new Thread(() -> {
    try {
        Pipe.SinkChannel sink = pipe.sink();
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        buffer.put("HelloWorld".getBytes());
        buffer.flip();
        while (buffer.hasRemaining()) {
            // 将数据写入SinkChannel
            sink.write(buffer);
        }
        sink.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}).start();
new Thread(() -> {
    try {
        Pipe.SourceChannel source = pipe.source();
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        // 读取SourceChannel中的数据
        while (source.read(buffer) > 0) {
            buffer.flip();
            while (buffer.hasRemaining()) {
                System.out.print((char) buffer.get()); //输出:HelloWorld
            }
            buffer.clear();
        }
        source.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}).start();

4.Selector

4.1 创建选择器

想要创建一个选择器,可以通过 Selector 类的静态方法 `open()` 来实现:

Selector selector = Selector.open();

4.2 注册通道

之后须要通过 `register()` 方法将 Channel 注册到 Selector 上,示例如下:

// 创建ServerSocketChannel
ServerSocketChannel serverChannel = ServerSocketChannel.open();
// 与 Selector一起使用的Channel必须处于非阻塞模式下
serverChannel.configureBlocking(false);
serverChannel.bind(new InetSocketAddress(hostname, port));

// 注册监听CONNECT事件
serverChannel.register(selector, SelectionKey.OP_ACCEPT);

`register()` 方法的第二个参数表示需要监听的事件,它有以下四个可选值:

//读取事件
public static final int OP_READ = 1 << 0;
//写入事件
public static final int OP_WRITE = 1 << 2;
//连接事件
public static final int OP_CONNECT = 1 << 3;
//接受连接事件
public static final int OP_ACCEPT = 1 << 4;

如果你需要监听多个事件,可以使用位操作符进行连接:

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

除此之外,你还可以在注册时通过调用 register 的另外一个重载方法来指定附加信息:

register(Selector sel, int ops, Object att)

这个附加信息可以在事件触发时通过 SelectionKey 对象再次得到。

4.3 select

当你在 Selector 上注册好通道后,就可以使用 `select()` 方法来获取处于就绪状态的事件的集合。示例如下:

int select = selector.select();

select 有以下三个重载方法:

select():持续阻塞,直到至少有一个通道在其注册的事件上处于就绪状态;

select(long timeout):与 `select()` 类似,但最长只阻塞 timout 毫秒;

selectNow():不会阻塞,如果不存在就绪事件,则直接返回 0。

需要注意的是如果是 Ready 操作集发生了变化,select 操作的返回值也可能是 0。这意味着如果某个通道注册的是 `OP_READ` 事件,那么该通道在第一次收到消息时,select 操作返回的值是 1;但是之后收到消息时,select 的返回值却可能是 0。因此在循环获取消息时,对于 select 返回值的判断应该加上为 0 的情况:

// 如果选择器上存在就绪事件,则进行处理
while (selector.select() >= 0) {
  ....
}

4.4 SelectionKey

当注册的事件处于就绪状态时,可以通过 Selector 的  `selectedKeys()` 方法来获取处于就绪状态的事件信息:

Set<SelectionKey> selectionKeys = selector.selectedKeys();

其返回的是 SelectionKey 的集合,SelectionKey 是对多个属性的综合封装:

public abstract class SelectionKey {

    // SelectionKey对应的channel
    public abstract SelectableChannel channel();

    // SelectionKey对应的选择器
    public abstract Selector selector();
 
    // 当前SelectionKey是否有效
    public abstract boolean isValid();
   
    // 取消channel在selector上注册的事件
    public abstract void cancel();

    // 当前channel注册的事件的合集
    public abstract int interestOps();

    // 当前channel是否对指定的事件感兴趣
    public abstract SelectionKey interestOps(int ops);

    // 处于就绪状态的事件的合集
    public abstract int readyOps();

    // Read事件是否就绪
    public final boolean isReadable() {return (readyOps() & OP_READ) != 0;}

    // Write事件是否就绪
    public final boolean isWritable() {return (readyOps() & OP_WRITE) != 0;}
    
    // Connect事件是否就绪
    public final boolean isConnectable() {return (readyOps() & OP_CONNECT) != 0;}
    
    // Accept事件是否就绪
    public final boolean isAcceptable() {return (readyOps() & OP_ACCEPT) != 0;}

    // 为SelectionKey指定附加属性,也可以在注册时通过register方法指定
    public final Object attach(Object ob) {return attachmentUpdater.getAndSet(this, ob);}

    // 获取附加属性
    public final Object attachment() { return attachment;}

}

你可能感兴趣的:(Java,java,nio)