Netty实战（四）：数据结构ByteBuf简介

ByteBuf介绍

因为所有的网络通信都涉及了字节序列的移动，所以高效易用的数据结构是必不可少的。Java的NIO提供了ByteBuffer作为它的字节容器，但是这个类使用起来很复杂，而且也有些繁琐。

ByteBuf优点：

可以被用户自定义的缓冲区类型扩展
通过内置的复合缓冲区类型实现了透明的零拷贝
容量按需增长
在读写模式切换时，不需要像NIO一样调用ByteBuffer的flip()方法
读和写使用了不同的索引
支持方法的链式调用
支持引用计数
支持池化

ByteBuf结构

image

上图为ByteBuf的一个结构图，从上图可以看出：

ByteBuf维护了两个索引，一个用于读取，一个用于写入。当从ByteBuf读取时，它的readerIndex将会递增已经被读取的字节数；类似的，当写入Bytebuf时，它的writerIndex将会递增。
当readerIndex和writerIndex相等时，再进行读取会抛出 IndexOutOfBoundsException
ByteBuf中还有一个参数是maxCapacity，当向ByteBuf写数据的时候，如果容量不足，将会进行扩容，直到达到最大容量。

ByteBuf的使用模式

堆缓冲区

将数据存储在堆中，这种模式也被称为支撑数组，它能在没有池化的情况下进行快速的分配和释放。

ByteBuf heapBuf = ...;
if (heapBuf.hasArray()) {
    // 如果有，则获取对该数组的引用
    byte[] array = heapBuf.array();
    // 对array继续进行操作
}

直接缓冲区

数据存储来JVM堆外。

ByteBuf directBuf = ...;
if (!directBuf.hasArray()) {
    // 获取可读字节数
    int length = directBuf.readableBytes();
    // 创建一个数组来保存数据
    byte[] arrar = new byte[length];
    // 对array继续进行操作
}

复合缓冲区

如果我们需要像是HTTP一样的header和body合在一起传输，每个消息可能重用消息头，也可能重用消息体，使用 CompositeByteBuf 可以避免在每次分配两个ByteBuf。

使用复合缓冲区模式

CompositeByteBuf messageBuf = Unpooled.compositeBUffer();
ByteBuf headerBuf = ...;
ByteBuf bodyBuf = ...;
// 添加ByteBuf实例
messageBuf.addComponents(headerBuf, bodyBuf);
........
// 删除header
messageBuf.removeComponent(0);

字节级操作

随机访问索引

getByte()

此方法既不会改变readerIndex,也不会改变writerIndex

可丢弃字节

文中最上方的图中，“已读字节”也是可以丢弃的字节，通过调用discardReadBytes()，可以丢弃他们并回收空间。

可读字节

readableBytes()，返回可以被读取的字节数，若尝试读取超过容量的数据，将会抛出 IndexOutOfBoundsException 异常。
isReadable()，可以知道此ByteBuf中是否还有可读的字节，避免在读取时抛出 IndexOutOfBoundsException 异常。伪代码如下：

ByteBuf buffer = ...;
while(buffer.isReadable()){
    buffer.readByte();
    // 或者类似的其他处理
}

可写字节

isWriteable()，返回这个ByteBuf是否可写（至少一个字节）
writeableBytes()，如果尝试往ByteBuf写入超过容量的数据，将会抛出 IndexOutOfBoundsException 异常。以下为伪代码：

ByteBuf buffer = ...;
while(buffer.writeableBytes() > 4) {
    buffer.writeInt(byte);
}

索引管理

markReaderIndex()，标记读索引
markWriterIndex()，标记写索引
resetReaderIndex()，重置读索引
resetWriterIndex()，重置写索引
readerIndex(int)，将读索引设置到指定位置
writerIndex(int)，将写索引设置到指定位置
clear()，读写索引设置为0

查找操作

indexOf()，类似String的方法
forEachByte(ByteProcesser)；一个查找 \r 的例子：

int index = buffer.forEachByte(ByteProcesser.FIND_CR);

派生缓冲区

duplicate()将返回一个新的ByteBuf实例，它具有自己的读索引、写索引和标记索引，相当于一个浅复制，如果修改了这个实例的内容，也会修改对应的源实例。
slice(int, int)，对ByteBuf进行切片，范围即为参数范围
Unpoled.unmodifiableBuffer(ByteBuf)，创建只读ByteBuf实例，该实例不允许进行任何修改操作。新ByteBuf具有与指定ByteBuf相同的readerIndex和writerIndex。
copy()，深复制一个ByteBuf实例，即修改这个实例内容不会对原来实例造成任何影响

读写操作

get和set为前缀的方法，不会改变读写索引
read和write为前缀的方法，将会改变读写索引

创建ByteBuf实例的几种方式

按需分配：ByteBufAllocator的一些操作

buffer()，返回一个基于直接内容或者堆内存存储的ByteBuf
heapBuffer()，返回一个基于堆内存存储的ByteBuf
directBuffer()，返回一个基于直接内存存储的ByteBuf
compositeBuffer()，返回一个 CompositeBuffer
ioBuffer()，返回一个用于套接字操作的ByteBuf

如何获取 ByteBufAllocator 引用

// 从channel中获取
Channel channel = ...;
ByteBufAllocator allocator = channel.alloc();
// 从ChannelHandlerContext中获取
ChannelHandlerContext ctx = ...;
ByteBufAllocator allocator2 = ctx.alloc();

Netty有两种 ByteBufAllocator 实现，一种是 PooledByteBufAllocator ，池化了ByteBuf实例以提高性能，并可以最大限度地减少内存碎片。另一种是 UnpooledByteBufAllocator ，此方法不池化ByteBuf实例，并且在每次它被调用时都会返回一个新的实例。

Unpooled缓冲区

某些情况下，可能未获取到ByteBufAllocator引用。Netty提供了Unpooled的静态辅助方法来创建未池化的ByteBuf实例。

buffer()，返回一个未池化的基于堆内存存储的ByteBuf
directBuffer()，返回一个未池化的基于直接内存存储的ByteBuf
wrappedBuffer()，返回一个包装了指定数据的ByteBuf
copiedBuffer()，返回一个复制了给定数据的ByteBuf

ByteBufUtil类

可能会有用的方法

hexdump()，十六进制打印ByteBuf内容
equals(ByteBuf, ByteBuf)，判断两个实例是否相等

引用计数

获得引用计数

int count = buffer.refCnt();

当引用计数为0时，可进行释放，释放成功时返回 true

boolean isReleased = buffer.release();

参考资料

Netty in action

本文由发给官兵创作，采用 CC BY 3.0 CN协议进行许可。可自由转载、引用，但需署名作者且注明文章出处。如转载至微信公众号，请在文末添加作者公众号二维码。

image