Netty (四) 分隔符和定长解码器的使用
TCP以流的形式进行数据传输，上层的应用协议为了对消息进行划分,往往采用如下的4种方式。
（1）消息长度固定，累计读到长度总和为定长len的报文后，就认为读取到了一个完整的消息；然后重新开始读取下一个“完整”的数据包；
（2）将回车换行符作为消息结束符，如ftp协议；
（3）将特殊的分隔符作为消息的结束标识,回车换行符j是一种特殊的分隔符；
（4）通过在消息头中定义的长度字段表示消息的总长度；
Netty对以上4种应用做了抽象,提供了4种解码器，有了解码器,码农们不用考虑TCP的粘包、拆包的问题了。
LineBasedFrameDecoder：依次编译bytebuf中的可读字符，判断看是否有“\n”或者“\r\n”，如果有，就以此位置为结束位置，从可读索引到结束位置区间的字节就组成了一行。它是以换行符为结束标志的解码器，支持携带结束符或者不携带结束符两种解码方式，同时支持单行的最大长度。如果连续读取到最大长度后，仍然没有发现换行符，就会抛出异常，同时忽略掉之前读到的异常码流。（具体例子介绍在《Netty（三）TCP粘包拆包处理》）
FixedLengthFrameDecoder:是固定长度解码器，它能按照指定的长度对消息进行自动解码，开发者不需要考虑TCP的粘包等问题。利用FixedLengthFrameDecoder解码，无论一次性接收到多少的数据，他都会按照构造函数中设置的长度进行解码；如果是半包消息，FixedLengthFrameDecoder会缓存半包消息并等待下一个包，到达后进行拼包，直到读取完整的包。
DelimiterBasedFrameDecoder：是自定义的分隔符解码，构造函数的第一个参数表示单个消息的最大长度，当达到该长度后仍然没有查到分隔符，就抛出TooLongFrameException异常，防止由于异常码流缺失分隔符导致的内存溢出。
服务端：
TimeServer.java
package nettytest.tcppackage.decoder.fixedLength; import io.netty.bootstrap.ServerBootstrap; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.ChannelOption; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.SocketChannel; import io.netty.channel.socket.nio.NioServerSocketChannel; import io.netty.handler.codec.DelimiterBasedFrameDecoder; import io.netty.handler.codec.string.StringDecoder; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * 时间服务器, 粘包拆包初步解决:LineBasedFrameDecoder通过标识符号换行符 * Created by Lovell on 30/09/2016. */ /* @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@ @@@@@@@@ @@ @@@@@@@ @@ @@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@ @@@@@ @@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@ @@@ @@@@ @@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@@ @ @@@@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@ @@@@@@ @@@@@@ @@ @@@ @@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ */ public class TimeServer { private static Logger logger = LoggerFactory.getLogger(TimeServer.class); public void bind(int port) throws Exception { // 配置服务端的NIO线程组 // NioEventLoopGroup类是个线程组，包含一组NIO线程，用于网络事件的处理 // （实际上他就是Reactor 线程组） // 创建2个线程组， 1个是服务端接收客户端的连接， // 另一个是进行SocketChannel的网络读写 EventLoopGroup bossGroup = new NioEventLoopGroup(); EventLoopGroup workerGroup = new NioEventLoopGroup(); try { // ServerBootstrap 类， 是启动NIO服务器的辅助启动类 ServerBootstrap serverBootstrap = new ServerBootstrap(); serverBootstrap.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) // NIO Socket管道 .option(ChannelOption.SO_BACKLOG, 1024) // 握手成功缓存大小 .option(ChannelOption.SO_KEEPALIVE, true) // 2小时无数据激活心跳机制 .childHandler(new ServerChannelHandler()); /** * 这个都是socket的标准参数，并不是netty自己的。 * 具体为： * ChannelOption.SO_BACKLOG, 1024 * BACKLOG用于构造服务端套接字ServerSocket对象，标识当服务器请求处理线程全满时，用于临时存放已完成三次握手的请求的队列的最大长度。 * 如果未设置或所设置的值小于1，Java将使用默认值50。 * ChannelOption.SO_KEEPALIVE, true * 是否启用心跳保活机制。在双方TCP套接字建立连接后（即都进入ESTABLISHED状态）并且在两个小时左右上层没有任何数据传输的情况下， * 这套机制才会被激活。 * ChannelOption.TCP_NODELAY, true * 在TCP/IP协议中，无论发送多少数据，总是要在数据前面加上协议头，同时，对方接收到数据，也需要发送ACK表示确认。 * 为了尽可能的利用网络带宽，TCP总是希望尽可能的发送足够大的数据。 * 这里就涉及到一个名为Nagle的算法，该算法的目的就是为了尽可能发送大块数据，避免网络中充斥着许多小数据块。 * TCP_NODELAY就是用于启用或关于Nagle算法。如果要求高实时性，有数据发送时就马上发送，就将该选项设置为true关闭Nagle算法； * 如果要减少发送次数减少网络交互，就设置为false等累积一定大小后再发送。默认为false。 */ // 绑定端口，同步等待成功 ChannelFuture channelFuture = serverBootstrap.bind(port).sync(); // 等待服务端监听端口关闭 channelFuture.channel().closeFuture().sync(); } finally { // 释放线程池资源 bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); } } private class ServerChannelHandler extends ChannelInitializer{ @Override protected void initChannel(SocketChannel ch) throws Exception { // FixedLengthFrameDecoder:是固定长度解码器，它能按照指定的长度对消息进行自动解码，开发者不需要考虑TCP的粘包等问题。 // 利用FixedLengthFrameDecoder解码，无论一次性接收到多少的数据，他都会按照构造函数中设置的长度进行解码； // 如果是半包消息，FixedLengthFrameDecoder会缓存半包消息并等待下一个包，到达后进行拼包，直到读取完整的包。 // ch.pipeline().addLast(new FixedLengthFrameDecoder(20)); // // 消息用 _#_ 作为分隔符,加入到DelimiterBasedFrameDecoder中，第一个参数表示单个消息的最大长度，当达到该 // 长度后仍然没有查到分隔符，就抛出TooLongFrameException异常，防止由于异常码流缺失分隔符导致的内存溢出 ByteBuf delimiter = Unpooled.copiedBuffer("_#_".getBytes()); ch.pipeline().addLast(new DelimiterBasedFrameDecoder(1024,delimiter)); ch.pipeline().addLast(new StringDecoder()); ch.pipeline().addLast(new TimeServerHandler()); } } public static void main(String[] args) throws Exception { int port = 8080; if (args != null && args.length > 0) { try{ port = Integer.valueOf(args[0]); } catch (NumberFormatException ex) { } } new TimeServer().bind(port); } }
TimeServerHandler.java
package nettytest.tcppackage.decoder.fixedLength; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelHandlerContext; import io.netty.channel.SimpleChannelInboundHandler; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * Created by Lovell on 30/09/2016. */ /* @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@ @@@@@@@@ @@ @@@@@@@ @@ @@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@ @@@@@ @@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@ @@@ @@@@ @@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@@ @ @@@@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@ @@@@@@ @@@@@@ @@ @@@ @@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ */ public class TimeServerHandler extends SimpleChannelInboundHandler { private static Logger logger = LoggerFactory.getLogger(TimeServerHandler.class); private int counter; // 用于网络的读写操作 @Override protected void channelRead0(ChannelHandlerContext ctx, Object msg) throws Exception { String body = (String)msg; System.out.println("the time server order : " + body+";the counter is :"+ (++counter)); body+="_#_"; ByteBuf resp = Unpooled.copiedBuffer(body.getBytes()); ctx.writeAndFlush(resp); // 当客户端和服务端建立tcp成功之后，Netty的NIO线程会调用channelActive // 发送查询时间的指令给服务端。 // 调用ChannelHandlerContext的writeAndFlush方法，将请求消息发送给服务端 // 当服务端应答时，channelRead方法被调用 } @Override public void channelReadComplete(ChannelHandlerContext ctx) throws Exception { ctx.flush(); // 它的作用是把消息发送队列中的消息写入SocketChannel中发送给对方 // 为了防止频繁的唤醒Selector进行消息发送，Netty的write方法，并不直接将消息写入SocketChannel中 // 调用write方法只是把待发送的消息发到缓冲区中，再调用flush，将发送缓冲区中的消息 // 全部写到SocketChannel中 } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { super.exceptionCaught(ctx, cause); ctx.close(); } }客户端：
TimeClient.java
package nettytest.tcppackage.decoder.fixedLength; import io.netty.bootstrap.Bootstrap; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.ChannelOption; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.SocketChannel; import io.netty.channel.socket.nio.NioSocketChannel; import io.netty.handler.codec.DelimiterBasedFrameDecoder; import io.netty.handler.codec.string.StringDecoder; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * Created by Lovell on 30/09/2016. */ /* @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@ @@@@@@@@ @@ @@@@@@@ @@ @@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@ @@@@@ @@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@ @@@ @@@@ @@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@@ @ @@@@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@ @@@@@@ @@@@@@ @@ @@@ @@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ */ public class TimeClient { private static Logger logger = LoggerFactory.getLogger(TimeClient.class); public void connect(String host, int port) throws Exception { // 配置服务端的NIO线程组 EventLoopGroup group = new NioEventLoopGroup(); try { // Bootstrap 类，是启动NIO服务器的辅助启动类 Bootstrap b = new Bootstrap(); b.group(group).channel(NioSocketChannel.class) .option(ChannelOption.TCP_NODELAY, true) .handler(new ChannelInitializerTimeClinetHandler.java() { @Override public void initChannel(SocketChannel ch) throws Exception { // 定长解码方式 // ch.pipeline().addLast(new FixedLengthFrameDecoder(23)); // 分隔符解码方式 ByteBuf delimiter = Unpooled.copiedBuffer("_#_".getBytes()); // 增加 DelimiterBasedFrameDecoder编码器 ch.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, delimiter)); ch.pipeline().addLast(new StringDecoder()); ch.pipeline().addLast(new TimeClientHandler()); } }); // 发起异步连接操作 ChannelFuture f = b.connect(host, port).sync(); // 等待客服端链路关闭 f.channel().closeFuture().sync(); } finally { group.shutdownGracefully(); } } public static void main(String[] args) throws Exception { int port = 8080; if (args != null && args.length > 0) { try { port = Integer.valueOf(args[0]); } catch (NumberFormatException ex) { } } new TimeClient().connect("127.0.0.1", port); } }
package nettytest.tcppackage.decoder.fixedLength; import io.netty.buffer.ByteBuf; import io.netty.buffer.Unpooled; import io.netty.channel.ChannelHandlerContext; import io.netty.channel.SimpleChannelInboundHandler; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * Created by Lovell on 30/09/2016. */ /* @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@ @@@@@@@@ @@ @@@@@@@ @@ @@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@ @@@@@ @@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@ @@@ @@@@ @@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@@@@@@@ @@@@ @@@@@ @ @@@@@ @@@@@@@@ @@@@@@@@@ @@@@@@@@@@ @@@@ @@ @@@@@@ @@@@@@ @@ @@@ @@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ */ public class TimeClientHandler extends SimpleChannelInboundHandler{ private static Logger logger = LoggerFactory.getLogger(TimeClientHandler.class); // 写日志 private int counter; private final String echo_req = "hi,!@#$@#@SADAS,!_#_"; public TimeClientHandler(){} @Override protected void channelRead0(ChannelHandlerContext ctx, Object msg) throws Exception { String body = (String)msg; System.out.println("Now is : " + body+", the countor is : "+ ++counter); } @Override public void channelActive(ChannelHandlerContext ctx){ // 当客户端和服务端建立tcp成功之后，Netty的NIO线程会调用channelActive // 发送查询时间的指令给服务端。 // 调用ChannelHandlerContext的writeAndFlush方法，将请求消息发送给服务端 // 当服务端应答时，channelRead方法被调用 ByteBuf firstMessage; for (int i = 0; i < 100; i++) { ctx.writeAndFlush(Unpooled.copiedBuffer(echo_req.getBytes())); } } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause){ logger.warn("message from:"+cause.getMessage()); ctx.close(); } }
源码下载
源码在src/main/java/Decoder下，分为客户端和服务端，他们的代码基本和Netty入门章节的代码类似，只是增加了解码器。
GitHub地址：https://github.com/orange1438/Netty_Course
作者：orange1438
出处：http://www.cnblogs.com/orange1438/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。