netty源码解解析(4.0)-18 ChannelHandler: codec--编解码框架

　　编解码框架和一些常用的实现位于io.netty.handler.codec包中。

　　编解码框架包含两部分：Byte流和特定类型数据之间的编解码，也叫序列化和反序列化。不类型数据之间的转换。

　　下图是编解码框架的类继承体系:

　　其中MessageToByteEncoder和ByteToMessageDecoder是实现了序列化和反序列化框架。 MessageToMessage是不同类型数据之间转换的框架。　　

 

序列化抽象实现: MessageToByteEncoder

　　序列化是把 I 类型的数据转换成Byte流。这个抽象类通过实现ChannelOutboundHandler的write方法在写数据时把 I 类型的数据转换成Byte流，下面是write方法的实现:

 1     @Override
 2     public void write(ChannelHandlerContext ctx, Object msg, ChannelPromise promise) throws Exception {
 3         ByteBuf buf = null;
 4         try {
 5             if (acceptOutboundMessage(msg)) {
 6                 @SuppressWarnings("unchecked")
 7                 I cast = (I) msg;
 8                 buf = allocateBuffer(ctx, cast, preferDirect);
 9                 try {
10                     encode(ctx, cast, buf);
11                 } finally {
12                     ReferenceCountUtil.release(cast);
13                 }
14 
15                 if (buf.isReadable()) {
16                     ctx.write(buf, promise);
17                 } else {
18                     buf.release();
19                     ctx.write(Unpooled.EMPTY_BUFFER, promise);
20                 }
21                 buf = null;
22             } else {
23                 ctx.write(msg, promise);
24             }
25         } catch (EncoderException e) {
26             throw e;
27         } catch (Throwable e) {
28             throw new EncoderException(e);
29         } finally {
30             if (buf != null) {
31                 buf.release();
32             }
33         }
34     }

　　5行,  检查msg的类型，如果是 I 类型返回true, 否则返回false。

　　7-10行， 分配一块buffer, 并调用encode方法把msg编码成Byte流放进这个buffer中。

　　15-19行，对含有Byte流程数据的buffer继续执行写操作。(不清楚写操作流程的可以参考<>)

 　  23行，如果msg不是 I 类型，跳过这个Handler, 继续执行写操作。

　　这里调用的encode方法是一个抽象方法，留给子类实现定制的序列化操作。

 

反序列化抽象实现: ByteToMessageDecoder

　　这个抽象类型解决的主要问题是从Byte流中提取数据包。数据包是指刚好可以反序列化成一个特定类型Message的Byte数组。但是在数据包长度不确定的情况下，没办法每次刚好从Byte流中刚好分离一个数据包。每次从Byte流中读取数据有多种可能:

1. 　刚好是一个或多个完整的数据包。
2. 　不足一个完整的数据包，或错误的数据。
3. 　包含一个或多个完整的数据包，但有多余的数据不足一个完整的数据包或错误的数据。　　

　　这个问题本质上和"TCP粘包"问题相同。解决这个问题有两个关键点:

1. 　能够确定数据包在Byte流中的开始位置和长度。
2. 　需要暂时缓存不完整的数据包，等待后续数据拼接完整。

　　关于第(1)点，在这个抽象类中没有处理，只是定义了一个抽象方法decode，留给子类处理。关于第(2)点，这个类定义了一个Cumulator(堆积器)来处理，把不完整的数据包暂时堆积到Cumulator中。Cumulator有两个实现: MERGE_CUMULATOR(合并堆积器)，COMPOSITE_CUMULATOR(组合堆积器)。默认使用的是MERGE_CUMULATOR。下面详细分析一下这两种Cumulator的实现。

　　MERGE_CUMULATOR的实现

　　这是一个合并堆积器，使用ByteBuf作为堆积缓冲区，把通过把数据写到堆积缓冲实现新旧数据合并堆积。

 1 @Override
 2         public ByteBuf cumulate(ByteBufAllocator alloc, ByteBuf cumulation, ByteBuf in) {
 3             final ByteBuf buffer;
 4             if (cumulation.writerIndex() > cumulation.maxCapacity() - in.readableBytes()
 5                     || cumulation.refCnt() > 1 || cumulation instanceof ReadOnlyByteBuf) {
 6                 // Expand cumulation (by replace it) when either there is not more room in the buffer
 7                 // or if the refCnt is greater then 1 which may happen when the user use slice().retain() or
 8                 // duplicate().retain() or if its read-only.
 9                 //
10                 // See:
11                 // - https://github.com/netty/netty/issues/2327
12                 // - https://github.com/netty/netty/issues/1764
13                 buffer = expandCumulation(alloc, cumulation, in.readableBytes());
14             } else {
15                 buffer = cumulation;
16             }
17             buffer.writeBytes(in);
18             in.release();
19             return buffer;
20         }

　　4-13行，如果当前的堆积缓冲区不能用了，分配一块新的，把旧缓冲区中的数据转移到新缓冲区中，并用新的替换旧的。当前堆积缓冲区不能用的条件是:

　　　　cumulation.writerIndex() > cumulation.maxCapacity() - in.readableBytes(): 容量不够

　　　　或者 cumulation.refCnt() > 1 : 在其他地方本引用

            或者 cumulation instanceof ReadOnlyByteBuf 是只读的

　　17行，把数据追加到堆积缓冲区中。

　　

　　COMPOSITE_CUMULATOR的实现

　　这是一个合并堆积器，和MERGE_CUMULATOR不同的是他使用的是CompositeByteBuf作为堆积缓冲区。

 1        @Override
 2         public ByteBuf cumulate(ByteBufAllocator alloc, ByteBuf cumulation, ByteBuf in) {
 3             ByteBuf buffer;
 4             if (cumulation.refCnt() > 1) {
 5                 // Expand cumulation (by replace it) when the refCnt is greater then 1 which may happen when the user
 6                 // use slice().retain() or duplicate().retain().
 7                 //
 8                 // See:
 9                 // - https://github.com/netty/netty/issues/2327
10                 // - https://github.com/netty/netty/issues/1764
11                 buffer = expandCumulation(alloc, cumulation, in.readableBytes());
12                 buffer.writeBytes(in);
13                 in.release();
14             } else {
15                 CompositeByteBuf composite;
16                 if (cumulation instanceof CompositeByteBuf) {
17                     composite = (CompositeByteBuf) cumulation;
18                 } else {
19                     composite = alloc.compositeBuffer(Integer.MAX_VALUE);
20                     composite.addComponent(true, cumulation);
21                 }
22                 composite.addComponent(true, in);
23                 buffer = composite;
24             }
25             return buffer;
26         }

　　4-13行，和MERGE_CUMULATOR一样。

　　15-23行，如果当前的堆积缓冲区不是CompositeByteBuf类型，使用一个新的CompositeByteBuf类型的堆积缓冲区代替，并把数据转移的新缓冲区中。

 

　　分离数据包的主流程

　　ByteToMessageDecoder是ChannelInboundHandlerAdapter的派生类，它通过覆盖channelRead实现了反序列化的主流程。这个主流程主要是对堆积缓冲区cumulation的管理，主要步骤是:

1. 把Byte流数据追加到cumulation中。
2. 调用decode方法从cumulation中分离出完整的数据包，并把数据包反序列化成特定类型的数据，直到不能分离数据包为止。
3. 检查cumulation，如果没有剩余数据，就销毁掉这个cumulation。否则，增加读计数。如果读计数超过丢弃阈值，丢掉部分数据，这一步是为了防止cumulation中堆积的数据过多。
4. 把反序列化得到的Message List传递到pipeline中的下一个ChannelInboundHandler处理。

　　由于使用了cumulation，ByteToMessageDecoder就变成了一个有状态的ChannelHandler, 它必须是独占的，不能使用ChannelHandler.@Sharable注解。

　　在channelRead中，并没有直接调用decode方法，而是通过callDecode间接调用。而callDecdoe也不是直接调用，而是调用了decodeRemovalReentryProtection方法，这个方法只是对decode调用的简单封装。参数in是堆积缓冲区cumulation。 这个方法主要实现上面描述的第2个步骤。

 1 //在channelRead中调用方式:callDecode(ctx, cumulation, out);    
 2 protected void callDecode(ChannelHandlerContext ctx, ByteBuf in, List