netty学习

1、不选择java原生nio的原因
   （1）nio的类库和api繁杂
   （2）需要具备其他的额外的技能做铺垫，例如熟悉java多线程编程。
   （3）可靠性能力补齐的工作量和难度都非常大，例如客户面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等问题。
   （4）jdk nio的bug，例如臭名昭著的epoll bug，它会导致Selector空轮询，最终导致cpu100%，虽然官方声称修复了该问题，但是直到jdk1.7版本，该问题还存在，只是bug几率降低了而已、
2、为什么选择netty
   （1）api使用简单，开发门槛低；
   （2）功能强大，预置了多种编解码功能，支持多种主流协议；
   （3）定制能力强，可以通过ChannelHandler对通信框架进行灵活的扩展；
   （4）性能高，通过与其他业界主流的nio框架对比，netty的综合性能最优；
   （5）成熟，稳定，netty修复了已经发现的所有jdk nio bug
   （6）社区活跃，版本迭代周期短，经历大规模商业应用的考验等；

    netty的简单示例，maven项目：http://yunpan.cn/cwGN7HydZ6tRs  访问密码 0624
3、TCP粘包和拆包问题
   （1）TCP是个“流”协议，所谓流，就是没有界限的一串数据，大家可以想想河里的流水，是连成一片的，其间并没有分界线。TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行包的划分，所以在业务上认为，一个完整的包可能会被TCP拆分成多个包进行发送，也有可能把多个小的包封装成一个大的数据包发送，这就是所谓的TCP粘包和拆包问题。
   （2）粘包和拆包问题产生原因主要有以下原因：
          应用程序write写入的字节大小大于套接口发送缓冲区大小；
          进行MSS大小的TCP分段；
          以太网帧的payload大于MTU进行IP分片
   （3）问题解决主要有如下几种策略：
         消息定长，例如每个报文的大小为固定长度200字节，如果不够，空位补空格；
         在包尾增加回车换行符进行分割，例如FTP协议
         将消息分为消息头和消息体，消息头中包含表示消息总长度（或消息体长度）的字段，通常设计思路为消息头的第一个字段使用int32来表示消息的总长度；
         更复杂的应用层协议

    出现粘包/分包问题的示例，maven项目：http://yunpan.cn/cwGTLsjvYHsj8  访问密码 687b

    netty提供的三种解决粘包/分包问题的方法的maven项目：http://yunpan.cn/cwGiwLHgu3NLI  访问密码 bd18
4、java序列化问题
    （1）序列化的性能
    （2）序列化后的码流大小
    （3）无法跨语言
     正因为jdk自带的序列化和反序列化存在上面的问题，所以一般我们都不使用jdk自带的序列化
5、protobuf框架
     protobuf全称为Google Protocol Buffers,它将数据结构以.proto文件进行描述，通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。
     它的特点如下：
        （1）结构化数据存储格式（xml，json等）
        （2）高效的编解码性能；
        （3）语言无关、平台无关、扩展性好；
        （4）官方支持JAVA、C++和Python三种语言
     首先我们来看下为什么不使用XML，尽管XML的可读性和可扩展性非常好，也非常适合描述数据结构，但是XML解析的时间开销和XML为了可读性而牺牲的空间开销都非常大，因此不适合做高性能的通信协议。        Protobuf使用二进制编码，在空间和性能上其有更大的优势。
     Protobuf另外一个比较吸引人的地方就是它的数据描述文件和代码生成几只，利用数据描述文件对数据结构进行说明的优点如下：
       （1）文本化的数据结构描述语言，可以实现语言和平台无关。特别使用异构系统间集成；
       （2）通过标识字段的顺序，可以实现协议的前向兼容
       （3）自动代码生成，不需要手工编写同样数据结构的C++和JAVA版本；
       （4）方便后续的管理和维护。相比于代码，结构化的文档更容易管理和维护。
6、JBoss Marshalling介绍
    JBoss Marshalling是一个java对象的序列化API包，修正了JDK自带的序列化包的很多问题，但又保持跟java.io.Serializable接口的兼容：同时增加了一些可调的参数和附加的特性，并且这些参数和特性可通过工厂类进行配置。
    相比于传统的java序列化几只，它的优点如下：
       （1）可插拔的类解析器，提供更加便捷的类加载定制策略，通过一个接口即可实现定制；
       （2）可插拔的对象替换技术，不需要通过继承的方式；
       （3）可插拔的预定义类缓存表，可以减小序列化的字节数组长度，提供常用类型的对象序列化性能；
       （4）无须实现java.io.Serializable接口，即可实现java序列化；
       （5）通过缓存技术提升对象的序列化性能。
7、WebSocket介绍
     HTTP协议的主要弊端总结如下：
         HTTP协议为半双工协议。半双工协议指数据可以在客户端和服务端两个方向上传输，但是不能同时传输。它以为着在同一时刻，只有一个方向上的数据传送
         HTTP消息冗长而繁琐。HTTP消息包含消息头、消息体、换行符等。 通常情况下采用文本方式传输，相比于其他的二进制通信协议，冗长而繁琐。
         针对服务器推送的黑客攻击，比如长时间轮询。
     在WebSocket API中，浏览器和服务器只需要做一个握手的动作，然后，浏览器和服务器之间就形成了一条快速通道，两者就可以直接互相传送数据了。WebSocket基于TCP双向全双工进行消息传递，在同一时刻，既可以发送消息，也可以接受消息，相比于HTTP的半双工协议，性能得到很大提升。
     WebSocket的特点主要有以下几点：
         单一的TCP连接，采用全双工模式通信；
         对代理、防火墙和路由器透明
         无头部信息、Cookie和身份验证
         无安全开销
         通过“ping/pong”帧保持链路激活
         服务器可以主动传递消息给客户端，不再需要客户端轮询