JAVA基础---NIO
1. java NIO简介：
Java NIO（New IO）是从Java 1.4版本开始引入的一个新的IO API，可以替代标准的Java IO API。NIO与原来的IO有同样的作用和目的，但是使用的方式完全不同，NIO支持面向缓冲区的、基于通道的IO操作。NIO将以更加高效的方式进行文件的读写操作。
2. Java NIO 与IO 的主要区别
| IO | NIO |
| 面向流(Stream Oriented) | 面向缓冲区(Buffer Oriented) |
| 阻塞IO(Blocking IO) | 非阻塞IO(NonBlocking IO) |
| 无 | 选择器(Selectors) |
3. 通道（Channel）与缓冲区（Buffer）
Java NIO系统的核心在于：通道(Channel)和缓冲区(Buffer)。通道表示打开到IO 设备(例如：文件、套接字)的连接。若需要使用NIO 系统，需要获取用于连接IO 设备的通道以及用于容纳数据的缓冲区。然后操作缓冲区，对数据进行处理。
简而言之，Channel 负责传输，Buffer 负责存储
3.1 缓冲区（Buffer）
- 缓冲区（Buffer）：一个用于特定基本数据类型的容器。由java.nio 包定义的，所有缓冲区都是Buffer 抽象类的子类。
- Java NIO中的Buffer 主要用于与NIO 通道进行交互，数据是从通道读入缓冲区，从缓冲区写入通道中的。
Buffer 就像一个数组，可以保存多个相同类型的数据。根据数据类型不同(boolean 除外) ，有以下Buffer 常用子类：
- ByteBuffer
- CharBuffer
- ShortBuffer
- IntBuffer
- LongBuffer
- FloatBuffer
- DoubleBuffer
上述Buffer 类他们都采用相似的方法进行管理数据，只是各自管理的数据类型不同而已。都是通过如下方法获取一个Buffer 对象：static XxxBuffer allocate(int capacity) : 创建一个容量为capacity 的XxxBuffer 对象
3.1.1 Buffer 中的重要概念：
- 容量(capacity) ：表示Buffer 最大数据容量，缓冲区容量不能为负，并且创建后不能更改。
- 限制(limit)：第一个不应该读取或写入的数据的索引，即位于limit 后的数据不可读写。缓冲区的限制不能为负，并且不能大于其容量。
- 位置(position)：下一个要读取或写入的数据的索引。缓冲区的位置不能为负，并且不能大于其限制
- 标记(mark)与重置(reset)：标记是一个索引，通过Buffer 中的mark() 方法指定Buffer 中一个特定的position，之后可以通过调用reset() 方法恢复到这个position.
0 <= mark <= position <= limit <= capacity
3.1.2 缓冲区的常用方法：
3.1.3 直接缓冲区与非直接缓冲区：
- 非直接缓冲区：通过 allocate() 方法分配缓冲区，将缓冲区建立在 JVM 的内存中
- 直接缓冲区：通过 allocateDirect() 方法分配直接缓冲区，将缓冲区建立在物理内存中。可以提高效率
- 字节缓冲区要么是直接的，要么是非直接的。如果为直接字节缓冲区，则Java 虚拟机会尽最大努力直接在此缓冲区上执行本机I/O 操作。也就是说，在每次调用基础操作系统的一个本机I/O 操作之前（或之后），虚拟机都会尽量避免将缓冲区的内容复制到中间缓冲区中（或从中间缓冲区中复制内容）。
- 直接字节缓冲区可以通过调用此类的allocateDirect() 工厂方法来创建。此方法返回的缓冲区进行分配和取消分配所需成本通常高于非直接缓冲区。直接缓冲区的内容可以驻留在常规的垃圾回收堆之外，因此，它们对应用程序的内存需求量造成的影响可能并不明显。所以，建议将直接缓冲区主要分配给那些易受基础系统的本机I/O 操作影响的大型、持久的缓冲区。一般情况下，最好仅在直接缓冲区能在程序性能方面带来明显好处时分配它们。
- 直接字节缓冲区还可以通过FileChannel 的map() 方法将文件区域直接映射到内存中来创建。该方法返回MappedByteBuffer。Java 平台的实现有助于通过JNI 从本机代码创建直接字节缓冲区。如果以上这些缓冲区中的某个缓冲区实例指的是不可访问的内存区域，则试图访问该区域不会更改该缓冲区的内容，并且将会在访问期间或稍后的某个时间导致抛出不确定的异常。
- 字节缓冲区是直接缓冲区还是非直接缓冲区可通过调用其isDirect()方法来确定。提供此方法是为了能够在性能关键型代码中执行显式缓冲区管理。
非直接缓冲区：
直接缓冲区：
3.1.4 实例代码：
public class BufferDemo1 {
@Test
public void test3(){
//分配直接缓冲区
ByteBuffer buf = ByteBuffer.allocateDirect(1024);
System.out.println(buf.isDirect());
}
@Test
public void test2(){
String str = "abcde";
ByteBuffer buf = ByteBuffer.allocate(1024);
buf.put(str.getBytes());
buf.flip();
byte[] dst = new byte[buf.limit()];
buf.get(dst, 0, 2);
System.out.println(new String(dst, 0, 2));
System.out.println(buf.position());
//mark() : 标记
buf.mark();
buf.get(dst, 2, 2);
System.out.println(new String(dst, 2, 2));
System.out.println(buf.position());
//reset() : 恢复到 mark 的位置
buf.reset();
System.out.println(buf.position());
//判断缓冲区中是否还有剩余数据
if(buf.hasRemaining()){
//获取缓冲区中可以操作的数量
System.out.println(buf.remaining());
}
}
@Test
public void test1(){
String str = "abcde";
//1. 分配一个指定大小的缓冲区
ByteBuffer buf = ByteBuffer.allocate(1024);
System.out.println("-----------------allocate()----------------");
System.out.println(buf.position());
System.out.println(buf.limit());
System.out.println(buf.capacity());
//2. 利用 put() 存入数据到缓冲区中
buf.put(str.getBytes());
System.out.println("-----------------put()----------------");
System.out.println(buf.position());
System.out.println(buf.limit());
System.out.println(buf.capacity());
//3. 切换读取数据模式
buf.flip();
System.out.println("-----------------flip()----------------");
System.out.println(buf.position());
System.out.println(buf.limit());
System.out.println(buf.capacity());
//4. 利用 get() 读取缓冲区中的数据
byte[] dst = new byte[buf.limit()];
buf.get(dst);
System.out.println(new String(dst, 0, dst.length));
System.out.println("-----------------get()----------------");
System.out.println(buf.position());
System.out.println(buf.limit());
System.out.println(buf.capacity());
//5. rewind() : 可重复读
buf.rewind();
System.out.println("-----------------rewind()----------------");
System.out.println(buf.position());
System.out.println(buf.limit());
System.out.println(buf.capacity());
//6. clear() : 清空缓冲区. 但是缓冲区中的数据依然存在，但是处于“被遗忘”状态
buf.clear();
System.out.println("-----------------clear()----------------");
System.out.println(buf.position());
System.out.println(buf.limit());
System.out.println(buf.capacity());
System.out.println((char)buf.get());
}
}3.2 通道（Channel）
通道（Channel）：由java.nio.channels 包定义的。Channel 表示IO 源与目标打开的连接。Channel 类似于传统的“流”。只不过Channel 本身不能直接访问数据，Channel 只能与Buffer 进行交互。
3.2.1 通道的主要实现类
java.nio.channels.Channel 接口：
|--FileChannel：用于读取、写入、映射和操作文件的通道。
|--SocketChannel：通过TCP 读写网络中的数据。
|--ServerSocketChannel：可以监听新进来的TCP 连接，对每一个新进来的连接都会创建一个SocketChannel。
|--DatagramChannel：通过UDP 读写网络中的数据通道。
3.2.2 获取通道
1. Java 针对支持通道的类提供了 getChannel() 方法
本地 IO：
FileInputStream/FileOutputStream
RandomAccessFile
网络IO：
Socket
ServerSocket
DatagramSocket
2. 在 JDK 1.7 中的 NIO.2 针对各个通道提供了静态方法 open()
3. 在 JDK 1.7 中的 NIO.2 的 Files 工具类的 newByteChannel()
3.2.3 通道之间的数据传输
transferFrom()：将数据从源通道传输到其他Channel 中
transferTo() ：将数据从源通道传输到其他Channel 中
3.2.4 分散(Scatter)与聚集(Gather)
分散读取（Scattering Reads）：是指从Channel 中读取的数据“分散”到多个Buffer 中。按照缓冲区的顺序，从Channel 中读取的数据依次将Buffer 填满。
聚集写入（Gathering Writes）：指将多个Buffer 中的数据“聚集”到Channel。按照缓冲区的顺序，写入position 和limit 之间的数据到Channel
3.2.5 字符集：Charset
编码：字符串 -> 字节数组
解码：字节数组 -> 字符串
3.2.6 FileChannel 的常用方法
3.2.7 实例程序
public class ChannelDemo1 {
// 字符编码和解码演示
@Test
public void test6() throws IOException {
Charset charset = Charset.forName("GBK");
// 获取编码器
CharsetEncoder encoder = charset.newEncoder();
// 获取解码器
CharsetDecoder decoder = charset.newDecoder();
CharBuffer cBuffer = CharBuffer.allocate(1024);
cBuffer.put("今天天气很好 ");
cBuffer.flip();
// 编码
ByteBuffer buf2 = encoder.encode(cBuffer);
for (int i = 0; i < 12; i++) {
System.out.println(buf2.get());
}
// 解码
buf2.flip();
CharBuffer buf3 = decoder.decode(buf2);
System.out.println(buf3.toString());
}
@Test
// 字符集
public void test5() {
Map map = Charset.availableCharsets();
for (Map.Entry entry : map.entrySet()) {
System.out.println(entry.getKey() + " : " + entry.getValue());
}
}
@Test
// 聚集写入和分散读取
public void test4() throws IOException {
// 文件流
RandomAccessFile raf = new RandomAccessFile("1.txt", "rw");
// 获取通道
FileChannel channel = raf.getChannel();
// 获取缓冲区
ByteBuffer buf1 = ByteBuffer.allocate(1024);
ByteBuffer buf2 = ByteBuffer.allocate(4048);
ByteBuffer buf3 = ByteBuffer.allocate(512);
ByteBuffer[] bufs = { buf1, buf2, buf3 };
// 分散读取，将通道中的内容读取到缓冲区
channel.read(bufs);
for (ByteBuffer byteBuffer : bufs) {
byteBuffer.flip();
System.out.println(new String(byteBuffer.array(), 0, byteBuffer.limit()));
System.out.println("-----------------------");
}
// 聚集写入
RandomAccessFile raf2 = new RandomAccessFile("2.txt", "rw");
FileChannel channel2 = raf2.getChannel();
channel2.write(bufs);
}
@Test
// 通道之间的数据传输(直接缓冲区)
public void test3() throws IOException {
FileChannel inchannel = FileChannel.open(Paths.get("E:\\1.png"), StandardOpenOption.READ);
FileChannel outchannel = FileChannel.open(Paths.get("E:\\3.png"), StandardOpenOption.READ,
StandardOpenOption.WRITE, StandardOpenOption.CREATE);
// 直接使用通道的方法，底层用的还是直接缓冲区
// inchannel.transferTo(0, inchannel.size(), outchannel);
outchannel.transferFrom(inchannel, 0, inchannel.size());
inchannel.close();
outchannel.close();
}
@Test
// 使用直接缓冲区完成文件的复制(内存映射文件)
public void test2() throws IOException {
FileChannel inChannel = FileChannel.open(Paths.get("E:/1.png"), StandardOpenOption.READ);
FileChannel outChannel = FileChannel.open(Paths.get("E:/2.png"), StandardOpenOption.WRITE,
StandardOpenOption.READ, StandardOpenOption.CREATE);
// 内存映射文件
MappedByteBuffer inMappedBuf = inChannel.map(MapMode.READ_ONLY, 0, inChannel.size());
MappedByteBuffer outMappedBuf = outChannel.map(MapMode.READ_WRITE, 0, inChannel.size());
// 直接对缓冲区进行数据的读写操作
byte[] dst = new byte[inMappedBuf.limit()];
inMappedBuf.get(dst);
outMappedBuf.put(dst);
inChannel.close();
outChannel.close();
}
// 利用通道完成文件的复制（非直接缓冲区）
@Test
public void test1() {
FileInputStream fis = null;
FileOutputStream fos = null;
FileChannel inchannel = null;
FileChannel outchannel = null;
try {
// 创建输出输入流
fis = new FileInputStream("1.png");
fos = new FileOutputStream("2.png");
// 创建通道
inchannel = fis.getChannel();
outchannel = fos.getChannel();
// 创建缓冲区
ByteBuffer buffer = ByteBuffer.allocate(1024);
// 将通道内的内容读到缓冲区
while (inchannel.read(buffer) != -1) {
buffer.flip();// 切换读取数据的模式
// 将缓冲区的内容写到通道
outchannel.write(buffer);
buffer.clear();// 清空缓冲区
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (fis != null) {
try {
fis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (fos != null) {
try {
fos.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (inchannel != null) {
try {
inchannel.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (outchannel != null) {
try {
outchannel.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
4. NIO 的非阻塞式网络通信
4.1 阻塞与非阻塞
- 传统的IO 流都是阻塞式的。也就是说，当一个线程调用read() 或write() 时，该线程被阻塞，直到有一些数据被读取或写入，该线程在此期间不能执行其他任务。因此，在完成网络通信进行IO 操作时，由于线程会阻塞，所以服务器端必须为每个客户端都提供一个独立的线程进行处理，当服务器端需要处理大量客户端时，性能急剧下降。
- Java NIO 是非阻塞模式的。当线程从某通道进行读写数据时，若没有数据可用时，该线程可以进行其他任务。线程通常将非阻塞IO 的空闲时间用于在其他通道上执行IO 操作，所以单独的线程可以管理多个输入和输出通道。因此，NIO 可以让服务器端使用一个或有限几个线程来同时处理连接到服务器端的所有客户端。
4.2 传统阻塞式IO实例代码：
4.2.1 TCP模式演示一：
public class TestBlockingNIO {
// 客户端
@Test
public void client() throws IOException {
// 1.获取网络通道
SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 9992));
// 2.获取本地文件通道
FileChannel fChannel = FileChannel.open(Paths.get("1.png"), StandardOpenOption.READ);
// 3.创建缓冲区
ByteBuffer buffer = ByteBuffer.allocate(1024);
int len = 0;
// 将文件从本地文件通道读到缓冲区
while ((len = fChannel.read(buffer)) != -1) {
buffer.flip();
// 将文件写入网络通道
sChannel.write(buffer);
buffer.clear();
}
sChannel.close();
fChannel.close();
}
// 服务端
@Test
public void server() throws IOException {
// 创建网络通道
ServerSocketChannel ssChannel = ServerSocketChannel.open();
ssChannel.bind(new InetSocketAddress(9992));
// 创建本地文件通道
FileChannel oChannel = FileChannel.open(Paths.get("2.png"), StandardOpenOption.WRITE,
StandardOpenOption.CREATE);
//客户端通道
SocketChannel sChannel = ssChannel.accept();
//创建缓冲区
ByteBuffer buffer = ByteBuffer.allocate(1024);
//开始读写
int len=0;
//从客户端通道把数据读取到缓冲区
while((len=sChannel.read(buffer))!=-1) {
//从缓冲区把把数据写入到本地文件通道
buffer.flip();
oChannel.write(buffer);
buffer.clear();
}
ssChannel.close();
sChannel.close();
oChannel.close();
}
}4.2.1 TCP模式演示二：
public class TestBlockingNIO2 {
// 客户端
@Test
public void client() throws IOException {
SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 9998));
FileChannel inChannel = FileChannel.open(Paths.get("1.png"), StandardOpenOption.READ);
ByteBuffer buffer = ByteBuffer.allocate(1024);
int len = 0;
while ((len = inChannel.read(buffer)) != -1) {
buffer.flip();
sChannel.write(buffer);
buffer.clear();
}
sChannel.shutdownOutput();
int len2 = 0;
while ((len2 = sChannel.read(buffer)) != -1) {
buffer.flip();
System.out.println(new String(buffer.array(), 0, len2));
buffer.clear();
}
sChannel.close();
inChannel.close();
}
// 服务端
@Test
public void server() throws IOException {
ServerSocketChannel ssChannel = ServerSocketChannel.open();
ssChannel.bind(new InetSocketAddress(9998));
SocketChannel sChannel = ssChannel.accept();
FileChannel oChannel = FileChannel.open(Paths.get("3.png"), StandardOpenOption.WRITE, StandardOpenOption.CREATE);
ByteBuffer buffer = ByteBuffer.allocate(1024);
int len=0;
while((len=sChannel.read(buffer))!=-1) {
buffer.flip();
oChannel.write(buffer);
buffer.clear();
}
buffer.put("收到了".getBytes());
buffer.flip();
sChannel.write(buffer);
ssChannel.close();
sChannel.close();
oChannel.close();
}
}
4.2 非阻塞式NIO实例代码：
1. 通道（Channel）：负责连接
java.nio.channels.Channel 接口：
|--SelectableChannel
|--SocketChannel
|--ServerSocketChannel
|--DatagramChannel
|--Pipe.SinkChannel
|--Pipe.SourceChannel2. 缓冲区（Buffer）：负责数据的存取
3. 选择器（Selector）：是 SelectableChannel 的多路复用器。用于监控 SelectableChannel 的 IO 状况
4.2.1 选择器（Selector）
选择器（Selector）是SelectableChannle 对象的多路复用器，Selector 可以同时监控多个SelectableChannel 的IO 状况，也就是说，利用Selector 可使一个单独的线程管理多个Channel。Selector 是非阻塞IO 的核心。
1. SelectableChannle 的结构如下图:
2. 选择器（Selector）的应用
- 创建Selector ：通过调用Selector.open() 方法创建一个Selector。
- 向选择器注册通道：SelectableChannel.register(Selector sel, int ops)
- 当调用register(Selector sel, int ops) 将通道注册选择器时，选择器对通道的监听事件，需要通过第二个参数ops 指定。
- 可以监听的事件类型（可使用SelectionKey 的四个常量表示）：
- 若注册时不止监听一个事件，则可以使用“位或”操作符连接
- 选择器的常用方法
3. SelectionKey 选择键
SelectionKey：表示SelectableChannel 和Selector 之间的注册关系。每次向选择器注册通道时就会选择一个事件(选择键)。选择键包含两个表示为整数值的操作集。操作集的每一位都表示该键的通道所支持的一类可选择操作。
4.2.2 实例代码：
- TCP模式：
public class TestNonBlockingNIO {
// 客户端
@Test
public void client() throws IOException {
// 获取通道
SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 8989));
// 将通道转化为非阻塞模式
sChannel.configureBlocking(false);
// 创建缓冲区
ByteBuffer buffer = ByteBuffer.allocate(1024);
// 输入流
BufferedReader bufIn = new BufferedReader(new InputStreamReader(System.in));
String str = null;
while ((str = bufIn.readLine()) != null) {
// System.out.println(str);
buffer.put((new Date().toString() + "\n" + str).getBytes());
buffer.flip();
sChannel.write(buffer);
buffer.clear();
}
sChannel.close();
}
// 服务端
@Test
public void server() throws IOException {
// 创建缓冲区
ServerSocketChannel ssChannel = ServerSocketChannel.open();
// 转换端口为非阻塞模式
ssChannel.configureBlocking(false);
// 绑定端口
ssChannel.bind(new InetSocketAddress(8989));
// 获取选择器
Selector selector = Selector.open();
// 将通道注册到选择器上, 并且指定“监听接收事件”
ssChannel.register(selector, SelectionKey.OP_ACCEPT);
// 轮询式的获取选择器上已经“准备就绪”的事件
while (selector.select() > 0) {
// 获取当前选择器中所有注册的“选择键(已就绪的监听事件)”
Iterator iterator = selector.selectedKeys().iterator();
while (iterator.hasNext()) {
// 获取准备“就绪”的是事件
SelectionKey sk = iterator.next();
// 判断具体是什么事件准备就绪
if (sk.isAcceptable()) {
// 若“接收就绪”，获取客户端连接
SocketChannel sChannel = ssChannel.accept();
// 将客户端的连接转换为非阻塞模式
sChannel.configureBlocking(false);
// 将该通道注册到选择器
sChannel.register(selector, SelectionKey.OP_READ);
} else if (sk.isReadable()) {
// 获取当前选择器上“读就绪”状态的通道
SocketChannel sChannel = (SocketChannel) sk.channel();
// 读取数据
ByteBuffer buffer = ByteBuffer.allocate(1024);
int len = 0;
while ((len = sChannel.read(buffer)) > 0) {
buffer.flip();
System.out.println(new String(buffer.array(), 0, len));
buffer.clear();
}
}
// 取消选择键 SelectionKey
iterator.remove();
}
}
}
} - UDP模式：
public class TestNonBlockingNIO2 {
@Test
// 发送端
public void sendDemo() throws IOException {
// 获取通道
DatagramChannel dChannel = DatagramChannel.open();
// 将通道转化为非阻塞模式
dChannel.configureBlocking(false);
// 创建缓冲区
ByteBuffer buffer = ByteBuffer.allocate(1024);
// 创建输入流
BufferedReader bufIn = new BufferedReader(new InputStreamReader(System.in));
String str = null;
while ((str = bufIn.readLine()) != null) {
buffer.put((new Date() + "\n" + str).getBytes());
buffer.flip();
dChannel.send(buffer, new InetSocketAddress("127.0.0.1", 8989));
buffer.clear();
}
dChannel.close();
}
@Test
// 接受端
public void receveDemo() throws IOException {
DatagramChannel dChannel = DatagramChannel.open();
dChannel.configureBlocking(false);
dChannel.bind(new InetSocketAddress(8989));
Selector selector = Selector.open();
dChannel.register(selector, SelectionKey.OP_READ);
while (selector.select() > 0) {
Iterator it = selector.selectedKeys().iterator();
while (it.hasNext()) {
SelectionKey sk = it.next();
if (sk.isReadable()) {
ByteBuffer buffer = ByteBuffer.allocate(1024);
DatagramChannel dc = (DatagramChannel) sk.channel();
dc.receive(buffer);
buffer.flip();
System.out.println(new String(buffer.array(), 0, buffer.limit()));
buffer.clear();
}
}
it.remove();
}
}
}
5.管道(Pipe)
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。
- 实例代码：
public class PipeDemo {
@Test
public void test1() throws IOException {
// 1. 获取管道
Pipe pipe = Pipe.open();
// 2. 将缓冲区中的数据写入管道
ByteBuffer buf = ByteBuffer.allocate(1024);
Pipe.SinkChannel sinkChannel = pipe.sink();
buf.put("通过单向管道发送数据".getBytes());
buf.flip();
sinkChannel.write(buf);
// 3. 读取缓冲区中的数据
Pipe.SourceChannel sourceChannel = pipe.source();
buf.flip();
int len = sourceChannel.read(buf);
System.out.println(new String(buf.array(), 0, len));
sourceChannel.close();
sinkChannel.close();
}
}