快学Java NIO

Java NIO Tutorial 地址：http://tutorials.jenkov.com/java-nio/index.html

Java NIO系列教程译文地址：http://ifeve.com/java-nio-all/

以下是我拜读过程中摘抄的部分内容，并且加了一些内容、笔记，姑且叫《快学Java NIO》，方便以后再翻阅学习

附上一个Java NIO实现的demo，多人网络聊天室

 

Java NIO 由以下几个核心部分组成：

• Channels
• Buffers
• Selectors

基本上，所有的 IO 在NIO 中都从一个Channel 开始。Channel 有点像流。 数据可以从Channel读到Buffer中，也可以从Buffer 写到Channel中。

 

Channel

FileChannel 从文件中读写数据。

DatagramChannel 能通过UDP读写网络中的数据。

SocketChannel 能通过TCP读写网络中的数据。

ServerSocketChannel可以监听新进来的TCP连接，像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

下面是一个FileChannel的示例

public class FileChannelTest {

    public static void main(String[] args) throws IOException {

        RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");

        FileChannel inChannel = aFile.getChannel();

　　　　 
        //涉及到的buffer的方法稍后解释

        ByteBuffer buf = ByteBuffer.allocate(48);



        int bytesRead = inChannel.read(buf);

        while (bytesRead != -1) {

            

            //make buffer ready for read

            buf.flip();



            while (buf.hasRemaining()) {

                System.out.print((char) buf.get());// read 1 byte at a time

            }


            buf.clear();//buf.compact();也可以

            bytesRead = inChannel.read(buf);

        }

        aFile.close();

    }

}

 

Buffer

为了理解Buffer的工作原理，需要熟悉它的三个属性：

• capacity
• position
• limit

在写模式下，Buffer的limit表示你最多能往Buffer里写多少数据。 写模式下，limit等于Buffer的capacity。

当切换Buffer到读模式时， limit表示你最多能读到多少数据。因此，当切换Buffer到读模式时，limit会被设置成写模式下的position值。换句话说，你能读到之前写入的所有数据（limit被设置成已写数据的数量，这个值在写模式下就是position）

 

clear方法就是让position设回0，limit与capacity相等。

　　public final Buffer clear() {

        position = 0;

        limit = capacity;

        mark = -1;

        return this;

    }

 

flip方法将Buffer从写模式切换到读模式。调用flip()方法会将position设回0，并将limit设置成之前position的值。

　　public final Buffer flip() {

        limit = position;

        position = 0;

        mark = -1;

        return this;

    }

 

compact()方法将所有未读的数据拷贝到Buffer起始处。然后将position设到最后一个未读元素正后面。limit属性依然像clear()方法一样，设置成capacity。现在Buffer准备好写数据了，但是不会覆盖未读的数据。

　　public ByteBuffer compact() {



        System.arraycopy(hb, ix(position()), hb, ix(0), remaining());

        position(remaining());

        limit(capacity());

        discardMark();

        return this;



    }

 

 Scatter/Gather

scatter/gather用于描述从Channel中读取或者写入到Channel的操作

分散（scatter）从Channel中读取是指在读操作时将读取的数据写入多个buffer中。因此，Channel将从Channel中读取的数据“分散（scatter）”到多个Buffer中。
聚集（gather）写入Channel是指在写操作时将多个buffer的数据写入同一个Channel，因此，Channel 将多个Buffer中的数据“聚集（gather）”后发送到Channel。

 

应用场景：例如传输一个由消息头和消息体组成的消息，你可能会将消息体和消息头分散到不同的buffer中，这样你可以方便的处理消息头和消息体

 

Scattering Reads在移动下一个buffer前，必须填满当前的buffer，这也意味着它不适用于动态消息(译者注：消息大小不固定)。

ByteBuffer header = ByteBuffer.allocate(128);

ByteBuffer body   = ByteBuffer.allocate(1024);



ByteBuffer[] bufferArray = { header, body };



channel.read(bufferArray);

 

ByteBuffer header = ByteBuffer.allocate(128);

ByteBuffer body   = ByteBuffer.allocate(1024);



//write data into buffers



ByteBuffer[] bufferArray = { header, body };



channel.write(bufferArray);

 

FileChannel的transferFrom()方法可以将数据从源通道传输到FileChannel中，下面是一个简单的例子：

RandomAccessFile fromFile = new RandomAccessFile("data/fromFile.txt", "rw");

FileChannel      fromChannel = fromFile.getChannel();



RandomAccessFile toFile = new RandomAccessFile("data/toFile.txt", "rw");

FileChannel      toChannel = toFile.getChannel();



long position = 0;

long count = fromChannel.size();



//toChannel.transferFrom(fromChannel, position, count);也可以

fromChannel.transferTo(position, count, toChannel);

 

Selector

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接，Selector能够处理多个通道。

 

Selector selector = Selector.open();
//FileChannel不能切换到非阻塞模式，所以这边不能使FileChannel

channel.configureBlocking(false);//与Selector一起使用时，Channel必须处于非阻塞模式下

SelectionKey key = channel.register(selector, SelectionKey.OP_READ); //除了注册读，还可以注册connect,accept,read,write事件

while(true) {

  int readyChannels = selector.select();  //阻塞到至少有一个通道就绪，还有select(long timeout)超时就不阻塞，selectNow()不阻塞，没有就返回0，当然打断阻塞还有wakeUp()方法，可以用另外一个线程调用这个方法，操作同一个selector对象即可

  if(readyChannels == 0) continue; 

  Set selectedKeys = selector.selectedKeys();  //可以通过这个方法，知道可用通道的集合

  Iterator keyIterator = selectedKeys.iterator();

  while(keyIterator.hasNext()) {

    SelectionKey key = keyIterator.next();

    if(key.isAcceptable()) {

        // a connection was accepted by a ServerSocketChannel.
　　　　　//SelectionKey.channel()方法返回的通道需要转型成你要处理的类型，如ServerSocketChannel或SocketChannel等

    } else if (key.isConnectable()) {

        // a connection was established with a remote server.

    } else if (key.isReadable()) {

        // a channel is ready for reading

    } else if (key.isWritable()) {

        // a channel is ready for writing

    }
　　//Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。下次该通道变成就绪时，Selector会再次将其放入已选择键集中。

    keyIterator.remove();

  }

}

 

现在能看到的情况是，一个请求过来，到Selector这边，selector从注册的通道中选择就绪的通道，然后找到具体的通道处理这个请求。

用一个selector线程来安排所有的channel！

当然为了并发，可以用多个selector，然后不同的channel来注册。这样就有了反向代理的感觉，selector就是反向代理服务器上的线程！

（以上是我个人对selector的理解，若理解有误，请指正）

 

Java NIO与IO

我应该何时使用IO，何时使用NIO呢？在本文中，我会尽量清晰地解析Java NIO和IO的差异、它们的使用场景，以及它们如何影响您的代码设计。

 

Java NIO与IO之间主要差别

IO                NIO

面向流            面向缓冲

阻塞IO            非阻塞IO

无                选择器

Java NIO的缓冲导向方法是数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动，这就增加了处理过程中的灵活性。NIO设计中多了buffer，传统IO如果要这个效果，需要自行定义操作buffer。

Java NIO的非阻塞模式，使一个线程从某通道发送请求读取数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取。

Java NIO的选择器允许一个单独的线程来监视多个输入通道，你可以注册多个通道使用一个选择器。

 

在IO设计中，我们从InputStream或 Reader逐字节读取数据。 readline()阻塞直到整行读完

NIO可让您只使用一个（或几个）单线程管理多个通道（网络连接或文件），但付出的代价是解析数据可能会比从一个阻塞流中读取数据更复杂。

 

如果需要管理同时打开的成千上万个连接，这些连接每次只是发送少量的数据，例如聊天服务器，实现NIO的服务器可能是一个优势。

如果你需要维持许多打开的连接到其他计算机上，如P2P网络中，使用一个单独的线程来管理你所有出站连接，可能是一个优势。

Java NIO: 单线程管理多个连接，如下图

如果你有少量的连接使用非常高的带宽，一次发送大量的数据，也许典型的IO服务器实现可能非常契合。

Java IO: 一个典型的IO服务器设计- 一个连接通过一个线程处理，如下图

至此，基本上Java NIO的大体轮廓已经明白了，鉴于篇幅不要太长，各个具体Channel的介绍移步:快学Java NIO续篇

• FileChannel
• SocketChannel
• ServerSocketChannel
• Java NIO DatagramChannel
• Pipe