java NIO


一. 介绍 NIO
NIO包(java.nio.*)引入了四个关键的抽象数据类型,它们共同解决传统的I/O类中的一些问题。

1 . Buffer:它是包含数据且用于读写的线形表结构。其中还提供了一个特殊类用于内存映射文件的I/O操作。
2 . Charset:它提供Unicode字符串影射到字节序列以及逆影射的操作。
3 . Channels:包含socket,file和pipe三种管道,它实际上是双向交流的通道。
4 . Selector:它将多元异步I/O操作集中到一个或多个线程中(它可以被看成是Unix中select()函数或Win32中WaitForSingleEvent()函数的面向对象版本)。
二. 回顾传统
在介绍NIO之前,有必要了解传统的I/O操作的方式。以网络应用为例,传统方式需要监听一个ServerSocket,接受请求的连接为其提供服务(服务通常包括了处理请求并发送响应)图一是服务器的生命周期图,其中标有粗黑线条的部分表明会发生I/O阻塞。

图一

可以分析创建服务器的每个具体步骤。首先创建 ServerSocket
ServerSocket server=new ServerSocket(10000);

然后接受新的连接请求
Socket newConnection=server.accept();

对于accept方法的调用将造成阻塞,直到ServerSocket接受到一个连接请求为止。一旦连接请求被接受,服务器可以读客户socket中的请求。
InputStream in = newConnection.getInputStream();
InputStreamReader reader = new InputStreamReader(in);
BufferedReader buffer = new BufferedReader(reader);
Request request = new Request();
while(!request.isComplete()) {
String line = buffer.readLine();
request.addLine(line);
}
这样的操作有两个问题,首先BufferedReader类的readLine()方法在其缓冲区未满时会造成线程阻塞,只有一定数据填满了缓冲区或者客户关闭了套接字,方法才会返回。其次,它回产生大量的垃圾,BufferedReader创建了缓冲区来从客户套接字读入数据,但是同样创建了一些字符串存储这些数据。虽然BufferedReader内部提供了StringBuffer处理这一问题,但是所有的String很快变成了垃圾需要回收。
同样的问题在发送响应代码中也存在
Response response = request.generateResponse();
OutputStream out = newConnection.getOutputStream();
InputStream in = response.getInputStream()

int ch
while(-1 != (ch = in.read())) {
out.write(ch);
}
newConnection.close();
类似的,读写操作被阻塞而且向流中一次写入一个字符会造成效率低下,所以应该使用缓冲区,但是一旦使用缓冲,流又会产生更多的垃圾。
传统的解决方法
通常在Java中处理阻塞I/O要用到线程(大量的线程)。一般是实现一个线程池用来处理请求,如图二


图二
线程使得服务器可以处理多个连接,但是它们也同样引发了许多问题。每个线程拥有自己的栈空间并且占用一些CPU时间,耗费很大,而且很多时间是浪费在阻塞的I/O操作上,没有有效的利用CPU。
三. 新 I/O
1.
Buffer
传统的I/O不断的浪费对象资源(通常是String)。新I/O通过使用Buffer读写数据避免了资源浪费。Buffer对象是线性的,有序的数据集合,它根据其类别只包含唯一的数据类型。

java.nio.Buffer 类描述
java.nio.ByteBuffer 包含字节类型。 可以从ReadableByteChannel中读在 WritableByteChannel中写

java.nio.MappedByteBuffer 包含字节类型,直接在内存某一区域映射

java.nio.CharBuffer 包含字符类型,不能写入通道

java.nio.DoubleBuffer 包含double类型,不能写入通道

java.nio.FloatBuffer 包含float类型

java.nio.IntBuffer 包含int类型

java.nio.LongBuffer 包含long类型

java.nio.ShortBuffer 包含short类型

可以通过调用allocate(int capacity)方法或者allocateDirect(int capacity)方法分配一个Buffer。特别的,你可以创建MappedBytesBuffer通过调用FileChannel.map(int mode,long position,int size)。直接(direct)buffer在内存中分配一段连续的块并使用本地访问方法读写数据。非直接(nondirect)buffer通过使用Java中的数组访问代码读写数据。有时候必须使用非直接缓冲例如使用任何的wrap方法(如ByteBuffer.wrap(byte[]))在Java数组基础上创建buffer。

2 . 字符编码
向ByteBuffer中存放数据涉及到两个问题:字节的顺序和字符转换。ByteBuffer内部通过ByteOrder类处理了字节顺序问题,但是并没有处理字符转换。事实上,ByteBuffer没有提供方法读写String。
Java.nio.charset.Charset 处理了字符转换问题。它通过构造CharsetEncoder和CharsetDecoder将字符序列转换成字节和逆转换。
3 . 通道 (Channel)
你可能注意到现有的java.io类中没有一个能够读写Buffer类型,所以NIO中提供了Channel类来读写Buffer。通道可以认为是一种连接,可以是到特定设备,程序或者是网络的连接。通道的类等级结构图如下



图三
图中ReadableByteChannel和WritableByteChannel分别用于读写。
GatheringByteChannel 可以从使用一次将多个Buffer中的数据写入通道,相反的,ScatteringByteChannel则可以一次将数据从通道读入多个Buffer中。你还可以设置通道使其为阻塞或非阻塞I/O操作服务。
为了使通道能够同传统I/O类相容,Channel类提供了静态方法创建Stream或 Reader
4.
Selector
在过去的阻塞I/O中,我们一般知道什么时候可以向stream中读或写,因为方法调用直到stream准备好时返回。但是使用非阻塞通道,我们需要一些方法来知道什么时候通道准备好了。在NIO包中,设计Selector就是为了这个目的。SelectableChannel可以注册特定的事件,而不是在事件发生时通知应用,通道跟踪事件。然后,当应用调用Selector上的任意一个selection方法时,它查看注册了的通道看是否有任何感兴趣的事件发生。图四是selector和两个已注册的通道的例子

图四
并不是所有的通道都支持所有的操作。SelectionKey类定义了所有可能的操作位,将要用两次。首先,当应用调用SelectableChannel.register(Selector sel,int op)方法注册通道时,它将所需操作作为第二个参数传递到方法中。然后,一旦SelectionKey被选中了,SelectionKey的readyOps()方法返回所有通道支持操作的数位的和。SelectableChannel的validOps方法返回每个通道允许的操作。注册通道不支持的操作将引发IllegalArgumentException异常。下表列出了SelectableChannel子类所支持的操作。

ServerSocketChannel OP_ACCEPT
SocketChannel OP_CONNECT, OP_READ, OP_WRITE
DatagramChannel OP_READ, OP_WRITE
Pipe.SourceChannel OP_READ
Pipe.SinkChannel OP_WRITE
四. 举例说明
1 . 简单网页内容下载
这个例子非常简单,类SocketChannelReader使用SocketChannel来下载特定网页的HTML内容。
package examples.nio;
import java.nio.ByteBuffer;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
import java.net.InetSocketAddress;
import java.io.IOException;
public class SocketChannelReader{

private Charset charset=Charset.forName("UTF-8");//
创建UTF-8字符集
private SocketChannel channel;
public void getHTMLContent(){
try{
connect();
sendRequest();
readResponse();
}catch(IOException e){
System.err.println(e.toString());
}finally{
if(channel!=null){
try{
channel.close();
}catch(IOException e){}
}
}
}
private void connect()throws IOException{//
连接到 CSDN
InetSocketAddress socketAddress=
new InetSocketAddress("http://www.csdn.net",80/);
channel=SocketChannel.open(socketAddress);
//使用工厂方法open创建一个channel并将它连接到指定地址上

// 相当与SocketChannel.open().connect(socketAddress);调用
}
private void sendRequest()throws IOException{
channel.write(charset.encode("GET "
+"/document"
+"\r\n\r\n"));//
发送GET请求到CSDN的文档中心
// 使用channel.write方法,它需要CharByte类型的参数,使用
//Charset.encode(String) 方法转换字符串。
}
private void readResponse()throws IOException{// 读取应答
ByteBuffer buffer=ByteBuffer.allocate(1024);// 创建1024字节的缓冲
while(channel.read(buffer)!=-1){
buffer.flip();//flip
方法在读缓冲区字节操作之前调用。
System.out.println(charset.decode(buffer));
//
使用Charset.decode方法将字节转换为字符串
buffer.clear();// 清空缓冲
}
}
public static void main(String [] args){
new SocketChannelReader().getHTMLContent();
}
2
. 简单的加法服务器和客户机
服务器代码
package examples.nio;
import java.nio.ByteBuffer;
import java.nio.IntBuffer;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.net.InetSocketAddress;
import java.io.IOException;
/**
* SumServer.java
*
*
* Created: Thu Nov 06 11:41:52 2003
*
* @author starchu1981
* @version 1.0
*/
public class SumServer {
private ByteBuffer _buffer=ByteBuffer.allocate(8);
private IntBuffer _intBuffer=_buffer.asIntBuffer();
private SocketChannel _clientChannel=null;
private ServerSocketChannel _serverChannel=null;
public void start(){
try{
openChannel();
waitForConnection();
}catch(IOException e){
System.err.println(e.toString());
}
}
private void openChannel()throws IOException{
_serverChannel=ServerSocketChannel.open();
_serverChannel.socket().bind(new InetSocketAddress(10000));
System.out.println("
服务器通道已经打开 ");
}
private void waitForConnection()throws IOException{
while(true){
_clientChannel=_serverChannel.accept();
if(_clientChannel!=null){
System.out.println("
新的连接加入 ");
processRequest();
_clientChannel.close();
}
}
}
private void processRequest()throws IOException{
_buffer.clear();
_clientChannel.read(_buffer);
int result=_intBuffer.get(0)+_intBuffer.get(1);
_buffer.flip();
_buffer.clear();
_intBuffer.put(0,result);
_clientChannel.write(_buffer);
}
public static void main(String [] args){
new SumServer().start();
}
} // SumServer

客户代码
package examples.nio;
import java.nio.ByteBuffer;
import java.nio.IntBuffer;
import java.nio.channels.SocketChannel;
import java.net.InetSocketAddress;
import java.io.IOException;
/**
* SumClient.java
*
*
* Created: Thu Nov 06 11:26:06 2003
*
* @author starchu1981
* @version 1.0
*/
public class SumClient {
private ByteBuffer _buffer=ByteBuffer.allocate(8);
private IntBuffer _intBuffer;
private SocketChannel _channel;
public SumClient() {
_intBuffer=_buffer.asIntBuffer();
} // SumClient constructor

public int getSum(int first,int second){
int result=0;
try{
_channel=connect();
sendSumRequest(first,second);
result=receiveResponse();
}catch(IOException e){System.err.println(e.toString());
}finally{
if(_channel!=null){
try{
_channel.close();
}catch(IOException e){}
}
}
return result;
}
private SocketChannel connect()throws IOException{
InetSocketAddress socketAddress=
new InetSocketAddress("localhost",10000);
return SocketChannel.open(socketAddress);
}

private void sendSumRequest(int first,int second)throws IOException{
_buffer.clear();
_intBuffer.put(0,first);
_intBuffer.put(1,second);
_channel.write(_buffer);
System.out.println("
发送加法请求 "+first+"+"+second);
}

private int receiveResponse()throws IOException{
_buffer.clear();
_channel.read(_buffer);
return _intBuffer.get(0);
}
public static void main(String [] args){
SumClient sumClient=new SumClient();
System.out.println("
加法结果为 :"+sumClient.getSum(100,324));
}
} // SumClient

3 . 非阻塞的加法服务器
首先在openChannel方法中加入语句
_serverChannel.configureBlocking(false);// 设置成为非阻塞模式
重写WaitForConnection方法的代码如下,使用非阻塞方式
private void waitForConnection()throws IOException{
Selector acceptSelector = SelectorProvider.provider().openSelector();
/* 在服务器套接字上注册selector并设置为接受accept方法的通知。
这就告诉Selector,套接字想要在accept操作发生时被放在ready表
上,因此,允许多元非阻塞I/O发生。 */
SelectionKey acceptKey = ssc.register(acceptSelector,
SelectionKey.OP_ACCEPT);
int keysAdded = 0;

/*select方法在任何上面注册了的操作发生时返回
*/
while ((keysAdded = acceptSelector.select()) > 0) {
// 某客户已经准备好可以进行I/O操作了,获取其ready键集合

Set readyKeys = acceptSelector.selectedKeys();
Iterator i = readyKeys.iterator();
// 遍历ready键集合,并处理加法请求
while (i.hasNext()) {
SelectionKey sk = (SelectionKey)i.next();
i.remove();
ServerSocketChannel nextReady =
(ServerSocketChannel)sk.channel();
//
接受加法请求并处理它
_clientSocket = nextReady.accept().socket();
processRequest();
_clientSocket.close();
}

}

鉴于java的nio框架主要基于Reactor模式,而Reactor模式又与观察者模式类似,我们先从观察者模式开始。

二 从观察者模式讲起

假设有一个目标对象(Objector)和一个观察者对象(Observer),Observer想要知道Objector状态,有两种办法:

  1. 轮询(可以理解为pull的方式)
  2. Objector状态发生变化时,主动通知Observer(可以理解为push的方式,事件源主动告知他人)

     class Objector{ List<Observer> observers; change(){ // 变化 // 通知观察者 for(Observer observer : observers){ observer.xxxx } } }

我们将这个模型简单的拓展一下,假设Observer要观察两个Objector的变化(Observer1和Observer2),那么我们可以:

class Objector1{ List<Observer> observers; change(){ // 变化1 // 通知观察者 for(Observer observer : observers){ observer.xxxx } } change2(){ // 变化2 // 通知观察者 for(Observer observer : observers){ observer.xxxx } } } class Objector1{ List<Observer> observers; change(){ 变化 for(Observer observer : observers){ observer.xxxx } } }

但我们知道,这样没有什么扩展性,比如change2的只有个别Observer才关心。所以,计算机里的所有问题,可以试试加个中间层解决。

于是,我们将Objector1中保存观察者的容器,以及通知观察者的代码提取出来,

class xx{ Map<感兴趣的事件,观察者列表> func(){ While(true){ 查询object1和object2有没有变化 有,就根据映射拿到观察者,调用观察者处理 } } }

这便是观察者模式,一个简要的雏形。观察者模式与单个事件源关联,而反应器模式则与多个事件源关联。

三 什么是java nio

io即输入输出,输入输出的源头与目的地主要是网络和文件(其它的太小众)。以读取文件为例:

Byte[] b = new byte[1024]; // 开启1m的缓冲区 while(in.read(b) != -1){ Xxx }

read一次读取一个字节,我们将其先存入到缓冲区中,然后集中处理。这里,这个缓冲区还是程序员约定俗成的行为(当然,你也可以使用BufferedInputStream)。在java nio中,这个缓冲区被固定下来,数据只能被读取到缓冲区中。

我想通过这个例子告诉大家,java nio对io的读写整个换了个搞法。在传统方式中,读取文件就是file和各种InputStream和OutputStream,网络应用就是Socket和各种Stream。流还是单向的,读取写入是可能被阻塞的。到了java nio中,文件和网络操作成了各种channel(替代流,既能读还能写,且只能从缓冲区读写)在上蹿下跳。还弄了个selector(就是上面的xx类),为我们监察I/O端口,如果有内容进来,会自动通知我们,这样就不必开启多个线程死等。

四 服务器端代码实例

 public NIOServer(int port) throws IOException { // 打开服务器套接字通道 ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); // 服务器配置为非阻塞 serverSocketChannel.configureBlocking(false); // 检索与此通道关联的服务器套接字 ServerSocket serverSocket = serverSocketChannel.socket(); // 进行服务的绑定 serverSocket.bind(new InetSocketAddress(port)); // 通过open()方法找到Selector selector = Selector.open(); /* 
     * 注册到selector,等待连接
     * serverSocketChannel 和 这个key 绑定了
     * 那么当这个key对应的事件发生时,也可以通过这个key获取这个channel
     */ serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT); /*
     * 运行到这一步,其实只注册了一个SelectionKey.OP_ACCEPT(和serverSocketChannel的绑定)
     */ System.out.println("Server Start----8888:"); } private void listen() throws IOException { while (true) { // 选择一组键,并且相应的通道已经打开 selector.select(); // 返回此选择器的已选择键集。 /*
         * 服务器接收到新的连接,有socket发送过来请求等,都会被监听到
         * 传统的io方式是
         * 1. 新的socket连接进来,serverSocket.accept停止阻塞
         * 2. 假设现在已经连接了多个socket,某一个socket有数据过来,则socket的输入流停止阻塞
         * 在这里,这些信号都被集中发现
         * 发现这些信号的时候,响应的channel估计已被自动创建,我们直接用就行了
         */ Set<SelectionKey> selectionKeys = selector.selectedKeys(); Iterator<SelectionKey> iterator = selectionKeys.iterator(); while (iterator.hasNext()) { SelectionKey selectionKey = iterator.next(); iterator.remove(); handleKey(selectionKey); } } }

五 java nio 不是万能的

  1. 传统方式下,read虽然能引起阻塞,但read只要返回,必定是读了一个字节数据。而在java nio下,read可以立马返回,但缓冲区里有没有数据,可就两说了。
  2. selector机制也不是一点毛病没有,可能会降低一些事件的响应速度。

六 其它

如果过多的设备与服务器进行网络通信,那么一个selector有可能把它累着,我们可以引入多个selector,这又引入了多个selector的管理问题。这就用到了mina和netty等nio框架。

同步 & 异步,阻塞 & 非阻塞

IO操作一般分为两步:

  • 发起IO请求。
  • 进行IO数据传输。

同步、异步、阻塞、非阻塞的区别如下:

  • 同步IO:当进行第2步时会阻塞请求线程,即请求线程干等,直到操作系统做完IO,则称为同步IO。
  • 异步IO:当进行第2步时不会阻塞请求线程,而是交给操作系统完成,请求线程可以继续干其他事,等到操作系统IO完成后再通过信号的方式告诉请求线程,则称为异步IO。
  • 阻塞IO:当进行第1步时就阻塞请求线程,即如果数据没准备好,那么请求线程就一直阻塞着,则称为阻塞IO。
  • 非阻塞IO:当进行第1步时不会阻塞请求线程,即如果数据没准备好,那么请求线程就立即返回,则称为非阻塞IO。

而 Java IO 属于同步阻塞 IO;NIO 属于同步非阻塞 IO。

一般如果想要读数据,则需要调用 read() 方法,这其中就包含了IO操作的两个步骤,而在文件IO里我们几乎可以把同步IO和阻塞IO当做一回事,因为发起IO请求肯定不会阻塞(数据已经准备好)。而在网络IO中,当调用 read() 方法时,网络的另一端并不一定有数据发给你:

  1. 当为阻塞IO时,read() 会一直阻塞直到有数据让他读。
  2. 当为非阻塞IO,则如果没收到任何数据,则直接返回0,表示没读到任何数据。
  3. 当为同步IO时,假设要接收一大堆数据,则 read() 会停住直到读取数据完毕,这期间可能要花费1小时,那么 read() 会停住等1小时。
  4. 当为异步IO时,假设要接收一大堆数据,即使没有读取完毕,read() 仍然会立即返回,一般会有一个回调方法比如onReadComplete(){...},只有执行该方法时才保证数据已读取完毕。

IO 和 NIO 的区别

  • JDK 1.4 开始,IO 是基于 NIO 实现的,因此普通的 IO 速度上也不会比 NIO 慢。因此 NIO 的出现并不是说比 IO 快,而是引入了同步非阻塞IO,而普通 IO 是阻塞的。
  • NIO 并不是要取代 IO,在某些场合,使用 IO 更方便。
  • Java IO 是单向的,要么是 InputStream,要么是 OutputStream。NIO 是双向的。虽然 NIO 是双向的,但是通过 FileInputStream 或 FileOutputStream 获得的 FileChannel 是单向的,SocketChannel 和 ServerSocketChannel 是双向的。
  • IO 是一个连接对应一个线程(比如网络请求,一个线程处理一个 Socket 连接,如果有两个网络连接请求,那么我们需要用两个线程),NIO 可以是一个线程对应多个连接请求,实现方法是 Selector。

Buffer & Channel

Java IO 要么是字符流,要么是字节流。而 NIO 是基于 Channel 和 Buffer 的,如果要向 Channel 写入数据,需要先将数据写入 Buffer;如果要从 Channel 读取数据,则读取的数据需要先放入 Buffer。

  • Buffer: 其实就是一块内存区域,Java 将其封装成 Buffer 对象。Buffer 是一个抽象类,有很多抽象子类,比如 ByteBuffer(他的实现子类是 HeapByteBuffer), IntBuffer(他的实现子类是 HeapIntBuffer), CharBuffer(他的实现子类是 HeapCharBuffer), DoubleBuffer (他的实现子类是 HeapDoubleBuffer)等等,这些缓冲区的区别在于基本元素不一样,比如 IntBuffer 中每次读取(get())和写入(put())的基本单位都是一个整型。
  • Channel: 类似普通IO的流(但是 Channel 是双向的),是与一个实体的连接,这个实体可以是硬件设备、文件、Socket 等。Channel 是一个接口,有很多实现类,比如 FileChannel, SocketChannel, ServerSocketChannel。与 Channel 直接交互的只能是 Buffer,即:
    • 如果要向 Channel 写入数据,则需要先将数据写到 Buffer,然后通过 channel.write(Buffer buffer) 将 Buffer 的内容写入 Channel。
    • 如果要从 Channel 读取数据,则需要将读取的数据放到 Buffer 中,即通过 channel.read(Buffer buffer)。

前文提到,NIO 提供了同步非阻塞IO,但是需要指出:FileChannel 始终是阻塞的,而 SocketChannel、ServerSocketChannel 默认也是阻塞的,但是可以通过调用 configureBlocking(false) 使它成为非阻塞IO。

前文也提到,Channel 是双向的,实际上,FileChannel 一般是单向的,而 SocketChannel 是双向的。

Buffer 内部实现

Buffer 分为"读模式"和"写模式"。处于读模式时,缓冲区只能读;处于写模式时,缓冲区只能写。

Buffer 的状态由三个变量决定:

  • position: 读模式时,表示下一个要读取的索引。写模式时,表示下一个要写入的索引。可以通过 position() 方法获得;可以通过position(int newPosition) 设置 position。
  • capacity: 不管是读写模式,都表示缓冲区的size 加上1。可以通过 capacity() 方法获得。
  • limit: 读模式时,表示能读取的最后一个索引的下一个。写模式时,等价于 capacity。可以通过 limit() 方法获得;可以通过limit(int newLimit) 设置 limit。

我们用图的方式解释这些变量的含义。

java NIO_第1张图片

上图为读模式的例子:初始时,缓冲区的容量为7,里面放了4个元素,还有3个空。图1为读模式的最初状态,当读取了2之后,只有 position 向右移了一位。

java NIO_第2张图片

上图为写模式的例子:初始时,position 指向下一个要写入的索引,当写入3之后,position向右移一位。

ByteBuffer 的常用方法如下:

  • byte get(): 获得缓冲区中索引为 position 的元素。
  • ByteBuffer put(byte b): 将 b 放入缓冲区。
  • clear(): 内部实现为 position = 0; limit = capacity;,实质上是清除缓冲区的所有元素,并转换为写模式。
  • flip(): 内部实现为 limit = position; position = 0;,实质上是将写模式转换为读模式。所以写入一些数据之后,如果要对缓冲区进行读取,首先需要先调用 flip()。
  • rewind(): 内部实现为 position = 0;。

案例1:Buffer 的使用

这个例子只介绍了 IntBuffer 的 API,其他类型的 Buffer 差不多。本例首先开辟了一个大小为 10 Int 的 Buffer,随后放入0、1、2、3、4,接着依次读取并输出。

IntBuffer intBuffer = IntBuffer.allocate(10); //分配一个整型缓冲区,容量是10个Int for(int i = 0; i < 5; i ++){ //向缓冲区依次放入0~4,共5个数字 intBuffer.put(i); } intBuffer.flip(); //从写模式转为读模式 while(intBuffer.hasRemaining()){ //将缓冲区的所有元素输出 System.out.println(intBuffer.get()); }

创建 XxxBuffer 除了 allocate(),还能通过将已有的Xxx[]包装成XxxBuffer的形式:

int[] arr = new int[100]; IntBuffer intBuffer2 = IntBuffer.wrap(arr);

这样的话,arr 和 intBuffer2 共享同一份数据。

另外,默认 Buffer 是可读写的,我们可以通过 buffer.asReadOnlyBuffer() 根据已有的 Buffer 创建只读的 Buffer,但是数据和原 Buffer 共享,并且内在的状态(position,limit,capacity)也和原 Buffer 共享,如下:

ByteBuffer buffer1 = ByteBuffer.allocate(5); for(int i = 0;i<buffer1.capacity();i++){ buffer1.put((byte)i); } ByteBuffer readOnlyBuffer = buffer1.asReadOnlyBuffer(); //readOnlyBuffer 共享 buffer1 的数据,position、limit、capacity也和buffer1共享 buffer1.put(0,(byte)-1); //将原Buffer的数据改变 readOnlyBuffer.flip(); while(readOnlyBuffer.hasRemaining()){ System.out.println(readOnlyBuffer.get()); //输出:-1、1、2、3、4,说明 readOnlyBuffer 和 buffer1 数据共享 }

案例2:FileChannel 的使用

这个例子是将 "from.txt" 的内容拷贝到 "to.txt" 文件中。

FileInputStream in = new FileInputStream("from.txt"); FileOutputStream out = new FileOutputStream("to.txt"); FileChannel inChannel = in.getChannel(); //只读Channel FileChannel outChannel = out.getChannel();//只写Channel ByteBuffer buffer = ByteBuffer.allocate(1024); while(true){ int size = inChannel.read(buffer); if(size == -1){ //拷贝完毕 break; } buffer.flip(); outChannel.write(buffer); buffer.clear(); }

上面的功能也能用 long transformTo(int position,long count,WritableByteChannel target) 实现:

FileOutputStream out = new FileOutputStream("to.txt"); FileChannel outChannel = out.getChannel(); FileInputStream in = new FileInputStream("from.txt"); FileChannel inChannel = in.getChannel(); inChannel.transferTo(0,inChannel.size(),outChannel);

我们能够为 Channel 对应的文件加互斥锁或共享锁:

FileLock lock = outChannel.lock(); //互斥锁 FileLock slock = outChannel.lock(0,outChannel.size(),true); //true表示共享锁 //do sth lock.release(); //释放锁

Scatter & Gather

java NIO_第3张图片 java NIO_第4张图片

  • Scatter(分散): 将 Channel 里读取的数据按顺序分散给多个 ByteBuffer(前一个Buffer填充完了再给后一个Buffer),通过read(ByteBuffer[]) 实现。
  • Gather(聚集): 将多个 ByteBuffer 的数据按顺序写入一个Channel,通过write(ByteBuffer[]) 实现。

Scatter 例子:

ByteBuffer header = ByteBuffer.allocate(128); ByteBuffer body = ByteBuffer.allocate(1024); //write data into buffers ByteBuffer[] bufferArray = { header, body }; channel.read(bufferArray);

Gather 例子:

ByteBuffer header = ByteBuffer.allocate(128); ByteBuffer body = ByteBuffer.allocate(1024); //write data into buffers ByteBuffer[] bufferArray = { header, body }; channel.write(bufferArray);

案例3:SocketChannel 和 ServerSocketChannel 的使用

本节主要实现一个简单的客户端和Echo服务器,客户端在命令行输入一段信息,服务器返回 "Echo: 信息"。

SocketChannel 是客户端的 Channel,ServerSocketChannel 是服务器端的 Channel。默认都是阻塞的,调用 configureBlocking(false) 可以设置为非阻塞。

客户端的常用方法如下:

  • SocketChannel channel = SocketChannel.open(): 创建一个 SocketChannel。
  • channel.configureBlocking(false): 指定为非阻塞。
  • channel.connect(new InetSocketAddress(<IP地址>,<端口>));: 向指定IP的指定端口发起连接请求。
  • channel.finishConnect(): 判断是否连接完成。
  • channel.write(ByteBuffer[] buffer): 发送数据。
  • channel.read(ByteBuffer[] buffer): 接收数据。

服务器端的常用方法如下:

  • ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();: 创建一个 ServerSocketChannel。
  • serverSocketChannel.bind(new InetSocketAddress(<端口>));: 绑定并监听端口。
  • serverSocketChannel.read(ByteBuffer[] buffer): 读取数据。
  • serverSocketChannel.write(ByteBuffer[] buffer): 写出数据。

对于服务器端来说,传统 Java 的并发模型是为每个客户端连接请求分配一个线程,一百万个请求就要分配一百万个线程,显然非常落后。因此 Java NIO 引入了 Selector,一个 Selector 可以同时管理多个连接,因此一个 Selector 对应一个线程。

java NIO_第5张图片

Selector 相关方法如下:

  • Selector selector = Selector.open(): 创建 Selector
  • channel.register(selector, int event): 为 channel 注册感兴趣的事件,事件可选值有 SelectionKey.OP_ACCEPT(当客户端发出连接的事件,这个事件只能由 ServerSocketChannel 注册),SelectionKey.OP_READ(当服务器拥有可读数据的事件,这个事件只能由 SocketChannel 注册),SelectionKey.OP_WRITE,SelectionKey.OP_CONNECT。
  • selector.select(): 阻塞直到有至少一个注册事件触发。
  • Set<SelectionKey> keys = selector.selectedKeys(): 查看目前哪些事件触发了。

对于 SelectionKey 来说,常用方法如下:

  • key.channel(): 获得当前触发事件对应的绑定的 Channel。
  • key.isAcceptable(): 当前触发事件是否为 OP_ACCEPT。
  • key.isReadable(): 当前触发事件是否为 OP_READ。
  • key.isWritable(): 当前触发事件是否为 OP_WRITE。
  • key.isConnectable(): 当前触发事件是否为 OP_CONNECT。

把知识点全部介绍完之后,列出实现代码。

客户端代码如下:

public class EchoClient { public static void main(String[] args) throws Exception{ //1. 准备一个非阻塞 SocketChannel SocketChannel channel = SocketChannel.open(); channel.configureBlocking(false); //2. 建立 SocketChannel 接收数据的缓冲区 、 缓冲区写入的 FileChannel ByteBuffer buffer = ByteBuffer.allocate(1024); channel.connect(new InetSocketAddress("127.0.0.1",9091)); while(!channel.finishConnect()); //判断 SocketChannel 是否连接成功,如果没连接成功就一直循环 System.out.println("Client Connected"); Scanner inScanner = new Scanner(System.in); boolean isRead = false; while(true){ String str = inScanner.next(); buffer.clear(); buffer.put(str.getBytes("UTF-8")); buffer.flip(); //切换成读模式 while (buffer.hasRemaining()) { channel.write(buffer); } buffer.clear(); while(true){ while(channel.read(buffer) > 0){ isRead = true; } if(isRead && channel.read(buffer) <= 0){ break; } } isRead = false; buffer.flip(); str = new String(buffer.array(),0,buffer.limit(),"UTF-8"); buffer.clear(); System.out.println(str); } } }

服务器端代码如下:

public class EchoServer { public static void main(String[] args)throws Exception { Selector selector = Selector.open(); ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); InetSocketAddress address = new InetSocketAddress(9091); //将 ServerSocketChannel 设置为非阻塞 serverSocketChannel.configureBlocking(false); //向 ServerSocketChannel 注册 OP_ACCEPT 事件,当有客户端连接服务器时,就触发该事件 serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT); //绑定该端口 serverSocketChannel.bind(address); ByteBuffer buffer = ByteBuffer.allocate(1024); while(true){ selector.select(); Set<SelectionKey> keys = selector.selectedKeys(); Iterator<SelectionKey> iterator = keys.iterator(); while(iterator.hasNext()){ SelectionKey key = iterator.next(); if(key.isAcceptable()){ //当有客户端连接时 ServerSocketChannel serverSocketChannel1 = (ServerSocketChannel)key.channel(); SocketChannel channel = serverSocketChannel1.accept(); if(channel != null){ System.out.println("Server has accepted to the connection"); channel.configureBlocking(false); channel.register(selector,SelectionKey.OP_READ); } } else if(key.isReadable()){ //当客户端发送数据给服务器 System.out.println("Server read from client"); SocketChannel channel = (SocketChannel)key.channel(); buffer.clear(); buffer.put("Echo:  ".getBytes("UTF-8")); while(true){ int count = channel.read(buffer); if(count <= 0){ break; } buffer.flip(); while(buffer.hasRemaining()){ channel.write(buffer); } buffer.clear(); } } iterator.remove();//Selector的触发事件集合不会自己删除,需要手动删除 } } } }

从上面代码可以看出,即使是很简单的功能,NIO 也需要非常多的代码,因此一般我们会使用 NIO 的框架,比如 Netty


你可能感兴趣的:(java NIO)