第三章 第一节JavaNIO编程
1. Java NIO基本介绍
- Java NIO(Non-blocking IO)指JDK提供新的API.从JDK1.4开始，java提供了一系列改进IO的新特性，被统称为NIO,是同步非阻塞的。
- NIO相关类和接口都放在java.nio包及其子包下面，并且对java.io包中很多类进行了改写。
- NIO有三大核心部分：Channel(通道)， Buffer（缓冲区）， Selector(选择器)
- NIO是面向缓冲区的。数据读取到一个稍后处理的缓冲区中去，需要的时候可在缓冲区中前后移动，这就增加了处理过程中的灵活性，使用他可以提供非阻塞性的高伸缩性网络。
- Java NIO的非阻塞模式，使一个线程从某通道发送请求或者读取数据，但是它仅能得到目前可用的数据，如果么有数据可读，就什么也不用处理，而不是保持线程阻塞，该线程可以做其他的事情。
- NIO可以一个线程处理多个操作。1000个请求过来，分配50-100个线程处理就够了，不需要像NIO那样，非得分配1000个。
- HTTP2.0 使用了多路复用技术，一个连接并发处理多个请求。
2. NIO和BIO的比较
- BIO以流的方式处理数据，NIO以块（缓存区）的方式处理数据，块的效率高
- BIO是阻塞的，NIO是非阻塞的
- BIO是基于字节流和字符流进行操作。而NIO是基于Channel和Buffer进行操作。数据总是从通道读取到缓存区。或者从缓存区写入到通道中。Selector用于监听多个通道的事件（连接请求，数据到达等），因此使用单个线程就可以监听多个客户端通道。
3. NIO三大核心原理示意图
一张图描述NIO中selector和channel和buffer的关系。
说明：
- 每个channel都会对应一个buffer
- 一个线程对应一个selector,对应多个channel(连接)
- 该图反应了有三个channel注册到selector
- 线程切到哪个channel是事件event决定的。
- selector根据不同的事件在通道上切换
- channel是双向的，可以返回底层操作系统的情况，比如linux,底层的os通道就是双向的。
- buffer就是一个内存块，底层是一个数组。
- 数据的读写是通过buffer。读写切换通过flip.
4. 缓冲区（Buffer）
4.1 基本介绍
缓存区就是一个可以读写数据的内存块，理解为一个容器对象，对象提供了一组方法，可以方便操作内存块，能够跟踪记录缓存区的状态变化情况。channel提供了从文件，网络读取数据的渠道，但是读取或者写入的数据都必须经过buffer.
4.2 buffer类和其子类
5. 通道（Channel）
5.1 基本介绍
- 通道类似于流，有些区别如下：
- 通道可以同时进行读写，而流只能读或者只能写
- 通道可以实现异步读写数据
- 通道可以从缓冲读数据，也可以写数据到缓冲:
- BIO 中的 stream 是单向的，例如 FileInputStream 对象只能进行读取数据的操作，而 NIO 中的通道(Channel)是双向的，可以读操作，也可以写操作。
- 常用的 Channel 类有：FileChannel、DatagramChannel、ServerSocketChannel 和 SocketChannel。【ServerSocketChanne 类似 ServerSocket , SocketChannel 类似 Socket】
- FileChannel 用于文件的数据读写，DatagramChannel 用于 UDP 的数据读写，ServerSocketChannel 和 SocketChannel 用于 TCP 的数据读写。
ByteBuffer我们用的比较多：
5.2 FileChannel
FileChannel主要用来对本地文件进行 IO 操作，常见的方法有
- public int read(ByteBuffer dst) ，从通道读取数据并放到缓冲区中**(对channel读)**
- public int write(ByteBuffer src) ，把缓冲区的数据写到通道中 （对channel写）
- public long transferFrom(ReadableByteChannel src, long position, long count)，从目标通道中复制数据到当前通道
- public long transferTo(long position, long count, WritableByteChannel target)，把数据从当前通道复制给目标通道
5.2.1 实例1-本地文件写数据
使用前面学习后的ByteBuffer(缓冲) 和 FileChannel(通道)， 将 “hello,尚硅谷” 写入到file01.txt 中
流程：
- ByteBuffer对象中写入"hello,尚硅谷"。
- FileOutputStream关联文件夹，并获取channel对象
- 将bytebuffer写入到channel中（写入channel就自动写入到文件了）
注：Channel可以看做是流包装的对象，见下图。
代码：
public class NIOFileChannel01 {
public static void main(String[] args) throws Exception{
String str = "hello,尚硅谷";
//创建一个输出流->channel
FileOutputStream fileOutputStream = new FileOutputStream("d:\\file01.txt");
//通过 fileOutputStream 获取 对应的 FileChannel
//这个 fileChannel 真实 类型是 FileChannelImpl
FileChannel fileChannel = fileOutputStream.getChannel();
//创建一个缓冲区 ByteBuffer
ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
//将 str 放入 byteBuffer
byteBuffer.put(str.getBytes());
//对byteBuffer 进行flip
byteBuffer.flip();
//将byteBuffer 数据写入到 fileChannel
fileChannel.write(byteBuffer);//写入channel就自动就写入文件里了。
fileOutputStream.close();
}
}
5.2.2 实例2-本地文件读数据
使用前面学习后的ByteBuffer(缓冲) 和 FileChannel(通道)， 将 file01.txt 中的数据读入到程序，并显示在控制台屏幕
流程：
- FileInputStream关联文件夹，并获取到channel
- 定义bytebuffer用来读取channel中的值，放到bytebuffer中
- 通过bytebuffer转换为string输出
代码：
public static void main(String[] args) throws Exception {
//创建文件的输入流
File file = new File("d:\\file01.txt");
FileInputStream fileInputStream = new FileInputStream(file);
//通过fileInputStream 获取对应的FileChannel -> 实际类型 FileChannelImpl
FileChannel fileChannel = fileInputStream.getChannel();
//创建缓冲区
ByteBuffer byteBuffer = ByteBuffer.allocate((int) file.length());
//将 通道的数据读入到Buffer
fileChannel.read(byteBuffer);
//将byteBuffer 的 字节数据 转成String
System.out.println(new String(byteBuffer.array()));
fileInputStream.close();
}
5.2.3 实例3-使用一个Buffer完成文件读取
使用 FileChannel(通道) 和 方法 read , write，完成文件的拷贝。将file1.txt拷贝file2.txt
流程：
- 通过FileInputStream关联file1.txt,并获取channel1
- 通过FileOutputStream关联file2.txt，并获取channel2
- 循环
- 读取前清空bytebuffer
- 读取channel1的内容，读取大小为bytebuffer申请的大小：channel1.read(bytebuffer)
- bytebuffer.flip() 从写模式转化到读模式
- 将读取到bytebuffer中的内容写入到channel2中去：channel2.write(bytebuffer)
代码：
public static void main(String[] args) throws Exception {
FileInputStream fileInputStream = new FileInputStream("1.txt");
FileChannel fileChannel01 = fileInputStream.getChannel();
FileOutputStream fileOutputStream = new FileOutputStream("2.txt");
FileChannel fileChannel02 = fileOutputStream.getChannel();
ByteBuffer byteBuffer = ByteBuffer.allocate(512);
while (true) { //循环读取
//这里有一个重要的操作，一定不要忘了
/*
public final Buffer clear() {
position = 0;
limit = capacity;
mark = -1;
return this;
}
*/
byteBuffer.clear(); //清空buffer因为之前是读状态，postion = limit。再写会导致read = 0。因此用clear重置position
int read = fileChannel01.read(byteBuffer);
System.out.println("read =" + read);
if(read == -1) { //表示读完
break;
}
//将buffer 中的数据写入到 fileChannel02 -- 2.txt
byteBuffer.flip();
fileChannel02.write(byteBuffer);
}
//关闭相关的流
fileInputStream.close();
fileOutputStream.close();
}
5.2.4 实例4-拷贝文件transferFrom 方法
使用 FileChannel(通道) 和 方法 transferFrom ，完成文件的拷贝。a.jpg拷贝到b.jpg
流程：
- FileInputStream关联a.jpg,获取sourceChannel
- FileOutputStream关联b.jpg,获取DesChannel
- DesChannel.transferFrom(sourceChannel, 0, sourceChannel.size()) 完成拷贝
代码：
public static void main(String[] args) throws Exception {
//创建相关流
FileInputStream fileInputStream = new FileInputStream("d:\\a.jpg");
FileOutputStream fileOutputStream = new FileOutputStream("d:\\a2.jpg");
//获取各个流对应的filechannel
FileChannel sourceCh = fileInputStream.getChannel();
FileChannel destCh = fileOutputStream.getChannel();
//使用transferForm完成拷贝
destCh.transferFrom(sourceCh,0,sourceCh.size());
//关闭相关通道和流
sourceCh.close();
destCh.close();
fileInputStream.close();
fileOutputStream.close();
}
5.3 关于Buffer 和 Channel的注意事项和细节
5.3.1 bytebuffer支持类型化的put和get，put放入的是什么数据类型，get就应该使用相应的数据读出。
//创建一个Buffer
ByteBuffer buffer = ByteBuffer.allocate(64);
//类型化方式放入数据
buffer.putInt(100);
buffer.putLong(9);
buffer.putChar('尚');
buffer.putShort((short) 4);
//取出
buffer.flip();
System.out.println();
System.out.println(buffer.getInt());
System.out.println(buffer.getLong());
System.out.println(buffer.getChar());
System.out.println(buffer.getShort());
5.3.2 可以将只读buffer抓换为只读buffer
public static void main(String[] args) {
//创建一个buffer
ByteBuffer buffer = ByteBuffer.allocate(64);
for(int i = 0; i < 64; i++) {
buffer.put((byte)i);
}
//读取
buffer.flip();
//得到一个只读的Buffer
ByteBuffer readOnlyBuffer = buffer.asReadOnlyBuffer();
System.out.println(readOnlyBuffer.getClass());
//读取
while (readOnlyBuffer.hasRemaining()) {
System.out.println(readOnlyBuffer.get());
}
readOnlyBuffer.put((byte)100); //ReadOnlyBufferException
}
5.3.3 NIO提供了MappedByteBuffer,让文件直接在内存（jvm堆外内存）中进行修改，而如何同步到文件由NIO来完成。
RandomAccessFile randomAccessFile = new RandomAccessFile("1.txt", "rw");// 支持从任意位置读取文件
//获取对应的通道
FileChannel channel = randomAccessFile.getChannel();
/**
* 参数1: FileChannel.MapMode.READ_WRITE 使用的读写模式
* 参数2： 0 ： 可以直接修改的起始位置
* 参数3: 5: 是映射到内存的大小(不是索引位置) ,即将 1.txt 的多少个字节映射到内
* 可以直接修改的范围就是 0-5
* 实际类型 DirectByteBuffer
*/
MappedByteBuffer mappedByteBuffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 5);
mappedByteBuffer.put(0, (byte) 'H');
mappedByteBuffer.put(3, (byte) '9');
mappedByteBuffer.put(5, (byte) 'Y');//IndexOutOfBoundsException
randomAccessFile.close();
System.out.println("修改成功~~");
5.3.4 NIO 还支持 通过多个Buffer (即 Buffer 数组) 完成读写操作，即 Scattering 和 Gathering
//使用 ServerSocketChannel 和 SocketChannel 网络
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
InetSocketAddress inetSocketAddress = new InetSocketAddress(7000);
//绑定端口到socket ，并启动
serverSocketChannel.socket().bind(inetSocketAddress);
//创建buffer数组
ByteBuffer[] byteBuffers = new ByteBuffer[2];
byteBuffers[0] = ByteBuffer.allocate(5);
byteBuffers[1] = ByteBuffer.allocate(3);
//等客户端连接(telnet)
SocketChannel socketChannel = serverSocketChannel.accept();
int messageLength = 8; //假定从客户端接收8个字节
//循环的读取
while (true) {
int byteRead = 0;
while (byteRead < messageLength ) {
long l = socketChannel.read(byteBuffers);
byteRead += l; //累计读取的字节数
System.out.println("byteRead=" + byteRead);
//使用流打印, 看看当前的这个buffer的position 和 limit
Arrays.asList(byteBuffers).stream().map(buffer -> "postion=" + buffer.position() + ", limit=" + buffer.limit()).forEach(System.out::println);
}
//将所有的buffer进行flip
Arrays.asList(byteBuffers).forEach(buffer -> buffer.flip());
//将数据读出显示到客户端
long byteWirte = 0;
while (byteWirte < messageLength) {
long l = socketChannel.write(byteBuffers); //
byteWirte += l;
}
//将所有的buffer 进行clear
Arrays.asList(byteBuffers).forEach(buffer-> {
buffer.clear();
});
System.out.println("byteRead:=" + byteRead + " byteWrite=" + byteWirte + ", messagelength" + messageLength);
}
6. 选择器（selector）
6.1 基本介绍
- Java的NIO可以用非阻塞的IO方式。可以用一个线程处理多个客户端的请求，就会用到selector.
- selector检测到注册的多个通道是否有事件发生（注意：多个channel以事件的形式注册到selector），如果有事件发生，获取对应的事件进行处理。这样一个线程通过一个selector管理多个通道（多个连接请求）
- 只有在连接通道有读写事件发生的时候才会读写，大大减少了系统开销。并且不需要为每一个连接创建一个线程，不用去维护多个线程。
- 避免了多个线程上下文切换导致的开销。
6.2 示意图和特点说明
说明：
- netty的IO线程聚合了selector，可以同时处理上千个客户端连接。
- 当线程从客户端socketchannel进行读写数据时，如果没有数据可用，该线程可以进行其他任务
- 线程将非阻塞的io的空闲时间用于其他通道执行io操作，所以单独的线程可以处理多个客户端
- 读写都是非阻塞的，充分提高了io线程的运行效率
- 一个io线程处理多个客户端的请求。从根本上解决了传统阻塞型io一线程一连接模型，架构的性能，可靠性得到了极大提升。
6.3 selector类相关方法
selector是一个抽象类
public abstract class Selector implements Closeable {
public static Selector open();//得到一个选择器对象
public int select(long timeout);//监控所有注册的通道，当其中有 IO 操作可以进行时，将对应的 SelectionKey 加入到内部集合中并返回，参数用来设置超时时间
public Set<SelectionKey> selectedKeys();//从内部集合中得到所有的 SelectionKey，也就是发生事件的selectKey
}
selector.select()//阻塞,直到获取到有事件发生的selectkey
selector.select(1000);//阻塞1000毫秒，在1000毫秒后返回
selector.wakeup();//唤醒selector
selector.selectNow();//不阻塞，立马返还
6.4 NIO非阻塞原理分析（加入了selector细致分析）
上图的说明：
以selector为中心：
- serverSocketChannel注册到selector上，事件为accept，表示监听客户端连接
- 客户端连接的时候selector 会监听，通过selectKeys方法得到所有的selectKey。判断selectKey是否isAcceptable,如果是就获取客户端的socketChannel.
- 获取到客户端的channel后同样注册到selector上，注册操作师读操作。如果selectKey是isReadable，就获取socketChannel进行业务处理
6.5 NIO 非阻塞 网络编程快速入门
6.5.1 案例要求
案例要求:
编写一个 NIO 入门案例，实现服务器端和客户端之间的数据简单通讯（非阻塞）
目的：理解NIO非阻塞网络编程机制
看老师代码演示
6.5.2 流程
服务端：
- 实例化serverSocketChannel并绑定端口6666, 设置为非阻塞。实例化selector对象。将serverSocketChannel注册到selector中，注册事件为OP_ACCEPT
- 循环等待客户端连接
- selector的select（1s）方法看有无事件发生。无事件发生一直循环
- 如果有事件发生，获取selectedKeys，遍历selectedKey。
- 判断是否是Acceptable事件。如果是，serverSocektChannel accept到一个客户端的socketChannel。将其注册到selector中，注册事件为OP_READABLE.
- 因为selector新注册了客户端读事件，要新增判断条件，如果selectKey是isReadable通过key获取到channe进行读取操作。
- 循环过程中记得移除遍历过的selectedKey
客户端：
- 实例化socketChannel，连接服务器
- 如果连接成功了，就往socetChannel写入数据（相当于发送了数据）
6.5.3 代码
服务端代码：
public class NIOServer {
public static void main(String[] args) throws Exception{
//创建ServerSocketChannel -> ServerSocket
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
//得到一个Selecor对象
Selector selector = Selector.open();
//绑定一个端口6666, 在服务器端监听
serverSocketChannel.socket().bind(new InetSocketAddress(6666));
//设置为非阻塞
serverSocketChannel.configureBlocking(false);
//把 serverSocketChannel 注册到 selector 关心 事件为 OP_ACCEPT
serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
System.out.println("注册后的selectionkey 数量=" + selector.keys().size()); // 1
//循环等待客户端连接
while (true) {
//这里我们等待1秒，如果没有事件发生, 返回
if(selector.select(1000) == 0) { //没有事件发生
System.out.println("服务器等待了1秒，无连接");
continue;
}
//如果返回的>0, 就获取到相关的 selectionKey集合
//1.如果返回的>0， 表示已经获取到关注的事件
//2. selector.selectedKeys() 返回关注事件的集合
// 通过 selectionKeys 反向获取通道
Set<SelectionKey> selectionKeys = selector.selectedKeys();
System.out.println("selectionKeys 数量 = " + selectionKeys.size());
//遍历 Set, 使用迭代器遍历
Iterator<SelectionKey> keyIterator = selectionKeys.iterator();
while (keyIterator.hasNext()) {
//获取到SelectionKey
SelectionKey key = keyIterator.next();
//根据key 对应的通道发生的事件做相应处理
if(key.isAcceptable()) { //如果是 OP_ACCEPT, 有新的客户端连接
//该该客户端生成一个 SocketChannel
SocketChannel socketChannel = serverSocketChannel.accept();
System.out.println("客户端连接成功 生成了一个 socketChannel " + socketChannel.hashCode());
//将 SocketChannel 设置为非阻塞
socketChannel.configureBlocking(false);
//将socketChannel 注册到selector, 关注事件为 OP_READ， 同时给socketChannel
//关联一个Buffer
socketChannel.register(selector, SelectionKey.OP_READ, ByteBuffer.allocate(1024));
System.out.println("客户端连接后 ，注册的selectionkey 数量=" + selector.keys().size()); //2,3,4..
}
if(key.isReadable()) { //发生 OP_READ
//通过key 反向获取到对应channel
SocketChannel channel = (SocketChannel)key.channel();
//获取到该channel关联的buffer
ByteBuffer buffer = (ByteBuffer)key.attachment();
channel.read(buffer);
System.out.println("form 客户端 " + new String(buffer.array()));
}
//手动从集合中移动当前的selectionKey, 防止重复操作
keyIterator.remove();
}
}
}
}
客户端代码：
public class NIOClient {
public static void main(String[] args) throws Exception{
//得到一个网络通道
SocketChannel socketChannel = SocketChannel.open();
//设置非阻塞
socketChannel.configureBlocking(false);
//提供服务器端的ip 和 端口
InetSocketAddress inetSocketAddress = new InetSocketAddress("127.0.0.1", 6666);
//连接服务器
if (!socketChannel.connect(inetSocketAddress)) {
while (!socketChannel.finishConnect()) {
System.out.println("因为连接需要时间，客户端不会阻塞，可以做其它工作..");
}
}
//...如果连接成功，就发送数据
String str = "hello, 尚硅谷~";
//Wraps a byte array into a buffer
ByteBuffer buffer = ByteBuffer.wrap(str.getBytes());
//发送数据，将 buffer 数据写入 channel
socketChannel.write(buffer);
System.in.read();
}
}
6.6 案例中相关类说明
6.6.1 SelectionKey
表示selector和网络通道的注册关系。通过key可以获取到channel.
注册关系分为下面四种：
int OP_ACCEPT：有新的网络连接可以 accept，值为 16
int OP_CONNECT：代表连接已经建立，值为 8
int OP_READ：代表读操作，值为 1
int OP_WRITE：代表写操作，值为 4
源码中：
public static final int OP_READ = 1 << 0;
public static final int OP_WRITE = 1 << 2;
public static final int OP_CONNECT = 1 << 3;
public static final int OP_ACCEPT = 1 << 4;
SelectionKey相关方法
public abstract class SelectionKey {
public abstract Selector selector();//得到与之关联的 Selector 对象
public abstract SelectableChannel channel();//得到与之关联的通道
public final Object attachment();//得到与之关联的共享数据
public abstract SelectionKey interestOps(int ops);//设置或改变监听事件.比如原来是accept现在可以改为read事件
public final boolean isAcceptable();//是否可以 accept
public final boolean isReadable();//是否可以读
public final boolean isWritable();//是否可以写
}
6.6.2 ServerSocketChannel
在服务端监听新的客户端连接
相关方法：
public abstract class ServerSocketChannel extends AbstractSelectableChannel implements NetworkChannel{
public static ServerSocketChannel open()//得到一个 ServerSocketChannel 通道
public final ServerSocketChannel bind(SocketAddress local)//设置服务器端端口号
public final SelectableChannel configureBlocking(boolean block)//设置阻塞或非阻塞模式，取值 false 表示采用非阻塞模式
public SocketChannel accept()//接受一个连接，返回代表这个连接的通道对象
public final SelectionKey register(Selector sel, int ops)//注册一个选择器并设置监听事件
}
6.6.2 SocketChannel
网络IOchannel，负责进行读写操作。可以将数据读或写入通道。
public abstract class SocketChannel extends AbstractSelectableChannel implements ByteChannel, ScatteringByteChannel, GatheringByteChannel, NetworkChannel{
public static SocketChannel open();//得到一个 SocketChannel 通道
public final SelectableChannel configureBlocking(boolean block);//设置阻塞或非阻塞模式，取值 false 表示采用非阻塞模式
public boolean connect(SocketAddress remote);//连接服务器
public boolean finishConnect();//如果上面的方法连接失败，接下来就要通过该方法完成连接操作
public int write(ByteBuffer src);//往通道里写数据
public int read(ByteBuffer dst);//从通道里读数据
public final SelectionKey register(Selector sel, int ops, Object att);//注册一个选择器并设置监听事件，最后一个参数可以设置共享数据
public final void close();//关闭通道
}