netty4 buffer源码分析

模块类结构：

Netty-Buffer类都集中在io.netty.buffer的package中，主要功能是在数据传输时保存传输的数据，同时对通信数据进行功能封装，便于对数据空间进行管理。注：在其他的package中有一些继承自buffer的类，不在这里说明。

package如下：

工作原理简介：

一、从存储方式上来分，ByteBuf分为：HeapByteBuf和DirectByteBuf。

HeapByteBuf是用byte数组格式来存储数据，DirectByteBuf是使用java.nio.ByteBuffer来存储数据。

DirectByteBuf利用java.nio.ByteBuffer是借助于JVM调用操作系统的底层通信函数，直接操作直接缓冲区可以减少中间缓冲区的复制操作，进而提供程序性能。

HeapByteBuf是在JVM内部开辟缓冲区，在数据操作前先把数据复制到byte数组再进行处理。因为中间增加了一层数据复制操作，所以会影响性能。

二、从空间初始化方式上来分，ByteBuf分为：缓存方式分配和非缓存方式分配。

空间分配工具类：PooledByteBufAllocator和UnpooledByteBufAllocator，其中UnpooledByteBufAllocator在外又封装了一个类Unpooled。

在缓存方式的分配类中，预申请了8个16K空间(分别是byte数组和java.nio.ByteBuffer)放在缓存中，通过类似工厂的创建函数创建ByteBuf时，先检查缓存中的空间是否符合要求，如果符合先从缓存中分配空间，否则申请新的空间。

空间申请时判断为：大于chunkSize（16K），大于PageSize（8192）小于chunkSize（16K），小于PageSize大于512，小于512几个档。

注：这几个值会根据操作系统的不同有所调整，以上值是在win7x64系统上的值。

三、空间分配和扩展

1、HeapByteBuf

   ①缓存方式

      a、分配

       根据构建是传入参数的初始化空间，从对应的缓存空间中取得byte[]，分配给到ByteBuf中memory变量。

      b、扩展

      在需要扩展的空间时，从缓存中取出一个符合要求的新的空间，即byte数组，把新申请的byte数组替换到ByteBuf中，执行System.arraycopy(src, srcOffset, dst, dstOffset, length);即可

   ②非缓存方式

     a、分配

      new一个byte[]赋值到ByteBuf的memory中，长度是传入的初始化长度参数。

     b、扩展

     new一个新长度的byte[]，替换ByteBuf中旧的memory，然后执行System.arraycopy(src, srcOffset, dst, dstOffset, length);即可

2、DirectByteBuf

   ①缓存方式

     a、分配

     根据入口的初始化大小参数从缓存中取得对应的空间区域进行分配。

     b、扩展

     根据申请空间的要求，从缓存中取得（缓存中无法满足时new一个java.nio.ByteBuffer）满足要求的java.nio.ByteBuffer，替换掉原有的java.nio.ByteBuffer，如果系统判断为unSafe时，直接复制旧的数据到新的java.nio.ByteBuffer；如果系统判断不为unSafe时，说明旧的数据还可能有其他Buffer访问，所以新旧java.nio.ByteBuffer同时进行自身复制一个新的java.nio.ByteBuffer，然后进行数据复制。

   ②非缓存方式

     a、分配

     new一个java.nio.ByteBuffer复制给ByteBuf的memory变量，长度为入口的初始化大小参数。

     b、扩展

     new一个新的java.nio.ByteBuffer复制给ByteBuf的memory变量，然后把数据复制到新的java.nio.ByteBuffer中。

四、其他类型ByteBuf：

1、CompositeByteBuf

     是一个虚拟的ByteBuf，在内部用List保存多个ByteBuf，然后虚拟为一个ByteBuf供使用。应用场景未知。

    同类型：FixedCompositeByteBuf，List长度为固定长度

2、ReadOnly类型

     只读ByteBuf。包括：ReadOnlyByteBuf、ReadOnlyByteBufferBuf、ReadOnlyUnsafeDirectByteBuf等

3、EmptyByteBuf

     定义一个空的ByteBuf

4、DuplicatedByteBuf

     不建议直接构造此类ByteBuf。执行ByteBuf内部duplicate()生成一个本身的副本。

5、WrappedByteBuf

   未知

    SimpleLeakAwareByteBuf

6、SwappedByteBuf

   反转字序的ByteBuf

7、SlicedByteBuf

   分片的ByteBuf，通过ByteBuf的slice()方法返回，和调用者共享从position指针到limit指针的这部分内容。

五、通信时的处理

      在服务端和客户端通信时，先把ByteBuf的capacity初始化为1024，然后在接收数据的过程中，再根据每次接收到的数据长度，猜测（动态计算）下次传输可能的数据长度，然后记录这个长度，当下一次数据开始传输时把这个长度当做初始长度生成ByteBuf。然后依次循环使用，直到连接关闭为止。

重点类介绍：

类继承关系图：

1、UnpooledByteBufAllocator

   非缓存方式ByteBuf生成工具类，是ByteBufAllocator的一种简单实现，生成的方式是每次调用都new一个新的ByteBuf。

   提供了各种ByteBuf的实现方法。

2、PooledByteBufAllocator

  缓存方式的ByteBuf生成工具类。预生成了一个高性能的buffer池，分配策略则是结合了buddy allocation和slab allocation的jemalloc变种。

  这是官方推荐的工具类，由于在先前的测试中可能存在内存泄露的现象，所以在连接初始化时使用的UnpooledByteBufAllocator分配ByteBuf。但是在官方的最新公告中表示已经解决了此问题，以后还是推荐使用PooledByteBufAllocator来生成ByteBuf来提供整体性能。

3、PoolArena

   ByteBuf空间分配核心类。提供了allocate()方法来初始化ByteBuf空间，以及reallocate()方法来动态扩容空间。

   同时在继承类HeapArena和DirectArena类中提供了memoryCopy()函数的空间扩容的具体实现。

与其他模块接口：

一、ByteBuf的生成

    ByteBuf的生成不建议直接使用new一个具体类的方式来实现，netty提供了生成工具类PooledByteBufAllocator和UnpooledByteBufAllocator供用户使用。

二、ByteBuf主要使用的方法说明

   1、capacity()方法和capacity(newCapacity)

     无参数时是返回buf现有的容量；

     有参数时是重新设置buf的容量，一般用于写入时容量不足的情况下进行扩容操作

   2、order()方法和order(ByteOrder endianness)方法

     无参数时返回buf的字节序

     有参数时设置buf的字节序，同时依照新的字节序进行转换

   3、readableBytes()和readBytes(obj);

    readableBytes()返回当前可读的字节数：从readIndex到结尾的字节数。一般用于读取数据前进行数据完整性的判断。

   readBytes()读取数据到指定的obj变量中（还有其他参数）。

   4、writableBytes()和maxWritableBytes()

    writableBytes()是返回当前capacity可写入的字节数是多少；

   maxWritableBytes()是返回ByteBuf创建时的maxCapacity可写入的字节数是多少

   5、markReaderIndex()和resetReaderIndex()

   markReaderIndex()把当前的readerIndex赋值到markReaderIndex中。

   resetReaderIndex()重设readerIndex，把markIndex赋值到readerIndex。

   这两个方法和readableBytes()、readBytes()结合使用可以完成数据的读取操作。

   6、markWriterIndex()和resetWriterIndex()

   markWriterIndex()方法是把当前writeIndex赋值到markWriteIndex中。

   resetWriterIndex()是把writeIndex设置为markWriteIndex的值。

   7、writeBytes()

   写数据函数，把数据吸入到ByteBuf中。

   一般在写数据时和markWriterIndex()和resetWriterIndex()结合使用

   8、 clear()

   清空ByteBuf，同时把readerIndex、markReaderIndex、writeIndex、markWriteIndex等设置为0

三、netty→ByteBuf和java.nio.ByteBuffer的不同

  在java.nio.ByteBuffer有capacity、position、limit、mark四种概念，除了容量不会改变以外，position、limit和mark在读写时都会发生改变，并且在读操作前要调用flip()方法重设position和limit才可以正确读出写入的数据。

   而在netty的ByteBuf中，封装时重新定义了readerIndex和writeIndex，在读写时只是操作对应的标志位，开发者在使用当中读写时不用关心position、limit、mark，也不用执行flip()方法就可以很方便的读写操作。

   java.nio.Bytebuffer读写实例：

   ByteBuffer buf = ByteBuffer.allocate(10);

   buf.put(xxx);//写完毕转读取时

   buf.flip();//必须调用，否则读取的数据不正确

   buf.get(xxx);

   而使用netty的ByteBuf时不需要关心这些指针，如：

   ByteBuf buf = xxx；//生成新的ByteBuf

   byte writeData[] = {...};

   buf.writeBytes(writeData);//写入数据

   byte readData[] = new byte[11];

   buf.readBytes(readData);//不用其他操作，可直接读取

   通过上面的示例可以看出，netty的ByteBuf使用起来更方便

四、HeapByteBuf和DirectByteBuf的选择（个人理解）

  HeapByteBuf由Heap管理，Heap是Java堆的意思，内部实现直接采用byte数组；DirectByteBuf使用是堆外内存，Direct应是采用Direct I/O之意，内部实现使用java.nio.DirectByteBuffer。

  注：HeapByteBuf通过

  在使用上的选择：

  场景1：网络间的通信：

    A计算机的netty进程A1和B计算机上的netty进程A2进行通信，这个时候涉及到跨网络通信的数据传输，前面说过DirectByteBuf是JVM直接操作操作系统的直接缓冲区能够提供性能，那么此时使用DirectByteBuf有利于提高程序性能，减少资源的使用。如果此时使用HeapByteBuf，那么进程现在JVM内部分配缓冲区，写完数据后再赋值到操作系统的直接缓冲区，然后进行网络传输，这样缓冲区的复制会影响性能，同时使用完毕后操作系统和JVM都要回收缓冲区资源，实际上增加了资源的使用，也降低了程序的性能。

  场景2：进程内部的通信：

   同一台计算机上的netty进程内进行通信，这个时候只涉及到了进程内的通信、涉及不到网络间传输，这个时候使用HeapByteBuf会有更好的优势。

整体运行情况：

其他；