网络通信优化-传统IO流及如何优化IO操作

摘要： I/O 的速度要比内存速度慢，尤其是在现在这个大数据时代背景下，I/O 的性能问题更是尤为突出，I/O 读写已经成为很多应用场景下的系统性能瓶颈，不容我们忽视。本文深入了解下 Java I/O 在高并发、大数据业务场景下暴露出的性能问题，从源头入手，学习优化方法。参考文献：刘超《Java性能调优实战》

1、什么是 I/O？

I/O 是机器获取和交换信息的主要渠道，而流是完成 I/O 操作的主要方式。在计算机中，流是一种信息的转换。流是有序的，因此相对于某一机器或者应用程序而言，通常把机器或者应用程序接收外界的信息称为输入流（InputStream），从机器或者应用程序向外输出的信息称为输出流（OutputStream），合称为输入 / 输出流（I/O Streams）。
Java 的 I/O 操作类在包 java.io 下，其中 InputStream、OutputStream 以及 Reader、Writer 类是 I/O 包中的 4 个基本类，它们分别处理字节流和字符流。

1.1 字节流

InputStream/OutputStream 是字节流的抽象类，这两个抽象类又派生出了若干子类，不同的子类分别处理不同的操作类型。如果是文件的读写操作，就使用 FileInputStream/FileOutputStream；如果是数组的读写操作，就使用 ByteArrayInputStream/ByteArrayOutputStream；如果是普通字符串的读写操作，就使用 BufferedInputStream/BufferedOutputStream。

1.2. 字符流

Reader/Writer 是字符流的抽象类，这两个抽象类也派生出了若干子类，不同的子类分别处理不同的操作类型。

2、传统 I/O 的性能问题

I/O 操作分为磁盘 I/O 操作和网络 I/O 操作。

IO操作	详情
磁盘 I/O 操作	从磁盘中读取数据源输入到内存中，之后将读取的信息持久化输出在物理磁盘上；
网络 I/O 操作	从网络中读取信息输入到内存，最终将信息输出到网络中。

但不管是磁盘 I/O 还是网络 I/O，在传统 I/O 中都存在严重的性能问题。

性能问题	详情
1. 多次内存复制	数据先从外部设备复制到内核空间，再从内核空间复制到用户空间，这就发生了两次内存复制操作。这种操作会导致不必要的数据拷贝和上下文切换，从而降低 I/O 的性能
2.阻塞	在传统 I/O 中，InputStream 的 read() 是一个 while 循环操作，它会一直等待数据读取，直到数据就绪才会返回。这就意味着如果没有数据就绪，这个读取操作将会一直被挂起，用户线程将会处于阻塞状态.

3、 如何优化 I/O 操作

JDK1.4 发布了 java.nio 包（new I/O 的缩写），NIO 的发布优化了内存复制以及阻塞导致的严重性能问题。JDK1.7 又发布了 NIO2，提出了从操作系统层面实现的异步 I/O。

优化操作	详情
1. 使用缓冲区优化读写流操作	传统 I/O 和 NIO 的最大区别就是传统 I/O 是面向流，NIO 是面向 Buffer（Buffer 是一块连续的内存块，是 NIO 读写数据的中转地）。Buffer 可以将文件一次性读入内存再做后续处理，而传统的方式是边读文件边处理数据。虽然传统 I/O 后面也使用了缓冲块，例如 BufferedInputStream，但仍然不能和 NIO 相媲美。使用 NIO 替代传统 I/O 操作，可以提升系统的整体性能。
2. 使用 DirectBuffer 减少内存复制	NIO 的 Buffer 除了做了缓冲块优化之外，还提供了一个可以直接访问物理内存的类 DirectBuffer。普通的 Buffer 分配的是 JVM 堆内存，而 DirectBuffer 是直接分配物理内存。DirectBuffer 申请的内存并不是直接由 JVM 负责垃圾回收，但在 DirectBuffer 包装类被回收时，会通过 Java Reference 机制来释放该内存块。
3. 避免阻塞，优化 I/O 操作	阻塞问题，就是传统 I/O 最大的弊端 NIO 发布后，通道和多路复用器这两个基本组件实现了 NIO 的非阻塞。

通道和多路复用器详解（部分资料在上一篇博客中从BIO到NIO在到Netty线程模型详解）

组件	详情
Channel	== 有自己的处理器，可以完成内核空间和磁盘之间的 I/O 操作==。在 NIO 中，我们读取和写入数据都要通过 Channel，由于 Channel 是双向的，所以读、写可以同时进行。
Selector	基于事件驱动实现的，我们可以在 Selector 中注册 accpet、read 监听事件，Selector 会不断轮询注册在其上的 Channel，如果某个 Channel 上面发生监听事件，这个 Channel 就处于就绪状态，然后进行 I/O 操作。当 Channel 上没有 I/O 操作时，该线程就不会一直等待了，而是会不断轮询所有 Channel，从而避免发生阻塞