Java NIO( non-blocking IO)是从Java 1.4版本开始引入的一个新的IO API,Java NIO提供了与标准IO不同的IO工作方式:
IO | NIO |
---|---|
面向流 | 面向缓冲区 |
阻塞 | 非阻塞 |
1. 面向流与面向缓冲
Java NIO和IO之间第一个最大的区别是,IO是面向流的,NIO是面向缓冲区的。 Java IO面向流意味着每次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何地方。此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的数据,需要先将它缓存到一个缓冲区。 Java NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的数据。
2. 阻塞与非阻塞IO
Java IO的各种流是阻塞的。这意味着,当一个线程调用read() 或 write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。
3. 选择器(Selectors)
Java NIO的选择器允许一个单独的线程来监视多个输入通道,你可以注册多个通道使用一个选择器,然后使用一个单独的线程来“选择”通道:这些通道里已经有可以处理的输入,或者选择已准备写入的通道。这种选择机制,使得一个单独的线程很容易来管理多个通道。
注意:
NIO的出现并不是要替代传统IO,而是在弥补传统IO的部分缺点,使用的场景不同。NIO虽然是非阻塞的,但是你在使用非阻塞write(ByteBuffer bf)时,当数据量较大时,可能会出现没有传输完整的现象,如果要保证数据传输完整,就要通过代码while(bf.hasReaming())和while(已传输len<文件size)去持续写入。这样的话会出现代码干预使其变成阻塞的了。而经过jdk不断的优化,inputSream和OutputStream几乎是传输速度最快的了,可以接近磁盘的写/读峰值(除了map内存映射),但是在有新的连接请求时却需要新的线程来控制,而线程的创建开销过于庞大,在线程间切换也有较大的消耗。总的来说,NIO适用于多条连接、多次请求,即需要多个线程多次操作,使用NIO可以减少创建线程和线程频繁切换的消耗;传统IO适用于少量用户,每次请求需要传输大量数据,但是请求次数少,使用传统IO可以提高传输的效率。(这里所说的NIO代指非阻塞IO,传统IO代表阻塞IO)
1. ByteBuffer
1)几个重要的属性:
每次get()/get(byte[] bytes)和put(byte x)/put(byte[] bytes)都会移动position。当position==limit时继续操作会产生异常。前面这种称之为相对读/写,每次从position位置开始操作,还有一种绝对位置操作,get(int index)/put(byte x, int index),从给定的index处操作,该种操作不会影响postion。
2)几个常用易混的操作:
public final Buffer clear() {
position = 0;
limit = capacity;
mark = -1;
return this;
}
public final Buffer flip() {
limit = position;
position = 0;
mark = -1;
return this;
}
public final Buffer rewind() {
position = 0;
mark = -1;
return this;
}
public final Buffer reset() {
int m = mark;
if (m < 0)
throw new InvalidMarkException();
position = m;
return this;
}
public ByteBuffer compact() {
System.arraycopy(hb, ix(position()), hb, ix(0), remaining());
position(remaining());
limit(capacity());
discardMark();
return this;
}
该方法将postion和limit之间的空间(未操作)复制到0~(limit-position)也就是remaining()的位置,也就是说把未使用的放到前面,通常搭配flip()使用,因为压缩后limit=capacity,position=(limit-position),经过flip后,position变为0,limit变为(limit-position),刚好就是未操作的空间。
3)中文乱码
2. 选择器与I/O多路复用
1) Selector选择器是NIO技术中的核心组件,可以调用SelectableChannel类的public abstract SelectionKey register(Selector sel, int ops, Object att)throws ClosedChannelException方法来向通道注册事件(也就是向通道注册感兴趣的事件),包括OP_READ、OP_WRITE、OP_CONNECT、OP_ACCEPT,分别对应读取、写入,请求连接、响应连接请求。
2)一些零散的知识点,在写代码时需要注意的
1. 客户端
public class Socket {
public static void main(String[] args) {
try {
//初始化客户端
SocketChannel socket = SocketChannel.open();
socket.configureBlocking(false);
Selector selector = Selector.open();
//注册连接事件
socket.register(selector, SelectionKey.OP_CONNECT);
//发起连接
socket.connect(new InetSocketAddress("localhost", 9999));
//开启控制台输入监听
new ChatThread(selector, socket).start();
Calendar ca = Calendar.getInstance();
//轮询处理
while (true) {
if (socket.isOpen()) {
//在注册的键中选择已准备就绪的事件
selector.select();
//已选择键集
Set keys = selector.selectedKeys();
Iterator iterator = keys.iterator();
//处理准备就绪的事件
while (iterator.hasNext()) {
SelectionKey key = iterator.next();
//删除当前键,避免重复消费
iterator.remove();
//连接
if (key.isConnectable()) {
//在非阻塞模式下connect也是非阻塞的,所以要确保连接已经建立完成
while (!socket.finishConnect()) {
System.out.println("连接中");
}
socket.register(selector, SelectionKey.OP_READ);
}
//控制台监听到有输入,注册OP_WRITE,然后将消息附在attachment中
if (key.isWritable()) {
//发送消息给服务端
socket.write((ByteBuffer) key.attachment());
/*
已处理完此次输入,但OP_WRITE只要当前通道输出方向没有被占用
就会准备就绪,select()不会阻塞(但我们需要控制台触发,在没有输入时
select()需要阻塞),因此改为监听OP_READ事件,该事件只有在socket
有输入时select()才会返回。
*/
socket.register(selector, SelectionKey.OP_READ);
System.out.println("==============" + ca.getTime() + " ==============");
}
//处理输入事件
if (key.isReadable()) {
ByteBuffer byteBuffer = ByteBuffer.allocate(1024 * 4);
int len = 0;
//捕获异常,因为在服务端关闭后会发送FIN报文,会触发read事件,但连接已关闭,此时read()会产生异常
try {
if ((len = socket.read(byteBuffer)) > 0) {
System.out.println("接收到來自服务器的消息\t");
System.out.println(new String(byteBuffer.array(), 0, len));
}
} catch (IOException e) {
System.out.println("服务器异常,请联系客服人员!正在关闭客户端.........");
key.cancel();
socket.close();
}
System.out.println("=========================================================");
}
}
} else {
break;
}
}
} catch (IOException e) {
System.out.println("客户端异常,请重启!");
}
}
}
2. 服务端
public class ServerSocket {
public static void main(String[] args) {
try {
//服务初始化
ServerSocketChannel serverSocket = ServerSocketChannel.open();
//设置为非阻塞
serverSocket.configureBlocking(false);
//绑定端口
serverSocket.bind(new InetSocketAddress("localhost", 9999));
//注册OP_ACCEPT事件(即监听该事件,如果有客户端发来连接请求,则该键在select()后被选中)
Selector selector = Selector.open();
serverSocket.register(selector, SelectionKey.OP_ACCEPT);
Calendar ca = Calendar.getInstance();
System.out.println("服务端开启了");
System.out.println("=========================================================");
//轮询服务
while (true) {
//选择准备好的事件
selector.select();
//已选择的键集
Iterator it = selector.selectedKeys().iterator();
//处理已选择键集事件
while (it.hasNext()) {
SelectionKey key = it.next();
//处理掉后将键移除,避免重复消费(因为下次选择后,还在已选择键集中)
it.remove();
//处理连接请求
if (key.isAcceptable()) {
//处理请求
SocketChannel socket = serverSocket.accept();
socket.configureBlocking(false);
//注册read,监听客户端发送的消息
socket.register(selector, SelectionKey.OP_READ);
//keys为所有键,除掉serverSocket注册的键就是已连接socketChannel的数量
String message = "连接成功 你是第" + (selector.keys().size() - 1) + "个用户";
//向客户端发送消息
socket.write(ByteBuffer.wrap(message.getBytes()));
InetSocketAddress address = (InetSocketAddress) socket.getRemoteAddress();
//输出客户端地址
System.out.println(ca.getTime() + "\t" + address.getHostString() +
":" + address.getPort() + "\t");
System.out.println("客戶端已连接");
System.out.println("=========================================================");
}
if (key.isReadable()) {
SocketChannel socket = (SocketChannel) key.channel();
InetSocketAddress address = (InetSocketAddress) socket.getRemoteAddress();
System.out.println(ca.getTime() + "\t" + address.getHostString() +
":" + address.getPort() + "\t");
ByteBuffer bf = ByteBuffer.allocate(1024 * 4);
int len = 0;
byte[] res = new byte[1024 * 4];
//捕获异常,因为在客户端关闭后会发送FIN报文,会触发read事件,但连接已关闭,此时read()会产生异常
try {
while ((len = socket.read(bf)) != 0) {
bf.flip();
bf.get(res, 0, len);
System.out.println(new String(res, 0, len));
bf.clear();
}
System.out.println("=========================================================");
} catch (IOException e) {
//客户端关闭了
key.cancel();
socket.close();
System.out.println("客戶端已断开");
System.out.println("=========================================================");
}
}
}
}
} catch (IOException e) {
e.printStackTrace();
System.out.println("服务器异常,即将关闭..........");
System.out.println("=========================================================");
}
}
}
3. 控制台监听线程
public class ChatThread extends Thread {
private Selector selector;
private SocketChannel socket;
public ChatThread(Selector selector, SocketChannel socket) {
super();
this.selector = selector;
this.socket = socket;
}
@Override
public void run() {
try {
//等待连接建立
Thread.sleep(500);
} catch (InterruptedException e) {
e.printStackTrace();
}
Scanner scanner = new Scanner(System.in);
System.out.println("请输入您要发送给服务端的消息");
System.out.println("=========================================================");
while (scanner.hasNextLine()) {
String s = scanner.nextLine();
try {
//用户已输入,注册写事件,将输入的消息发送给客户端
socket.register(selector, SelectionKey.OP_WRITE, ByteBuffer.wrap(s.getBytes()));
//唤醒之前因为监听OP_READ而阻塞的select()
selector.wakeup();
} catch (ClosedChannelException e) {
e.printStackTrace();
}
}
}
}