深入解读Netty 底层核心源码,全面分析Netty特新

前言

Netty 是一款基于 NIO(非阻塞 I/O)开发的网络框架,与传统 BIO 相比,它的并发性能得到了很大的提高,而且更加节省资源。Netty 不仅封装了 NIO 操作的很多细节;在设计上还基于灵活、可扩展的事件驱动模型与高度可定制的线程模型,让 Netty 的应用更加灵活。作为一个被广泛使用的 Java 网络编程框架,Netty 在互联网领域、大数据分布式计算领域、游戏行业、物联网行业等都得到了广泛的应用。很多流行的大数据框架的核心通信模块也都使用的是 Netty,如 Elasticsearch、HBase、Flink 等。

深入解读Netty 底层核心源码,全面分析Netty特新_第1张图片

本文将带领大家深入解读 Netty 底层核心源码及架构设计;全面分析 Netty 特性,掌握多线程实战技巧!

目录

深入解读Netty 底层核心源码,全面分析Netty特新_第2张图片

主要内容

本文包含大量的分布式底层架构的编写,涉及多线程、负载均衡算法、性能调优、线上问题紧急处理等内容。本文通过非常简易的代码来讲解 Netty 在企业中的实际用法,通过对实例进行调试的方式对 Netty 源码进行了详细的剖析,力图使读者通过实际操作快速入门,并深入了解 Netty 底层的各个组件。

第 1 章 Netty 基础篇;本章虽然是 Netty 的基础应用部分,但是涉及 Java 多线程交互、Netty 客户端与服务端的长连接通信,为编写分布式 RPC 打好了基础。在进行后续的 Netty 多线程编程时,会遇到各种问题。例如,从表面上看,Netty 客户端只用一条线程就能完成与服务端的数据交互,为何要使用线程组?然而在实际应用中,Netty 服务会部署在多台机器上,而客户端与服务端的连接也会有多条,这些连接链路 Channel 可以注册在同一个 Worker 线程组中。在学习 Netty 时,要多发现问题并多思考,以找到一个让自己满意的答案。

深入解读Netty 底层核心源码,全面分析Netty特新_第3张图片

第 2 章原理部分;本章大部分内容都是 TCP 和 NIO 的理论知识,主要涉及数据序列化、编/解码器,以及数据的读/写和传输。本章内容大部分在平时工作中很少接触到,但对了解 Netty 底层原理有很大的帮助。想要写出高性能的代码,就必须对其底层原理有很深入的了解。

深入解读Netty 底层核心源码,全面分析Netty特新_第4张图片

第 3 章分布式 RPC;

  • 3.1 Netty 整合 Spring

  • 3.2 采用 Netty 实现一套 RPC 框架

  • 3.3 分布式 RPC 的构建

深入解读Netty 底层核心源码,全面分析Netty特新_第5张图片

第 4 章 Netty 核心组件源码剖析;本章主要对 Netty 的 NioEventLoop 线程、Channel、ByteBuf 缓冲区、内存泄漏检测机制进行了详细的剖析。这些组件都是 Netty 的核心,在学习其源码的同时,要思考其整体设计思想,如 Channel 和 ByteBuf 的整体设计及其每层抽象类的意义;在这些组件中,Netty 对哪些部分做了性能优化,如运用 JDK 的 Unsafe、乐观锁、对象池、SelectedSelectionKeySet 数据结构优化等。除了本章的核心组件,Netty 还有 Handler 事件驱动模型、编码和解码、时间轮、复杂的内存池管理等,在后续章节会进行详细的剖析。

深入解读Netty 底层核心源码,全面分析Netty特新_第6张图片

第 5 章 Nettyi 读/写请求源码剖析;

  • 5.1 ServerBootstrap 启动过程剖析

  • 5.2 Netty 对 I/O 就绪事件的处理

深入解读Netty 底层核心源码,全面分析Netty特新_第7张图片

第 6 章 Netty 内存管理;内存管理是 Netty 最核心的部分,但也是最难以理解的部分,这主要是因为代码中涉及多线程的并发,以及各种位移的与或非操作。建议读者在学习时,把难以理解的代码贴到测试类中进行简单的调试。本章首先介绍了底层 PoolChunk 的内存分配,然后介绍了上层的 PoolArena 对 内 存 的 整 体 管 理 , 最 后 介 绍 了 NioEventLoop 处 理 NioSocketChannel 的 OP_READ 事件过程。当进行循环读数据时,运用 ByteBufAllocator(内存分配器)与 AdaptiveRecvByteBufAllocator 计算读循环需要分配的内存,把整个内存分配与应用结合了起来。至此,Netty 的内存管理基本上介绍完了。

深入解读Netty 底层核心源码,全面分析Netty特新_第8张图片

第 7 章 Netty 时间轮高级应用;本章主要讲述了时间轮的构建算法及其应用场景。定时检测服务除了外卖平台可以使用,其他地方也可以使用,如优惠券过期提醒、医院预约提醒等,只要是与未来一段时间相关的业务,基本上都可以使用它。

深入解读Netty 底层核心源码,全面分析Netty特新_第9张图片

第 8 章问题分析与性能调优;本章主要讲解了服务器代码的部署、Jmeter 压测、线上问题定位及解决的实战经验、性能调优的方案。服务器代码的部署也是应用开发过程中很重要的部分,对于未接触过 Netty 的读者有一定的帮助。一般开发人员平时很少接触 Jmeter 压测,大部分都是测试的工作。但在测出服务性能问题后,需要研发人员及时找到性能瓶颈并优化。至于线上问题定位与性能调优,是程序员在成长路上的宝贵经验,需要一定的积累。遇到的问题越多,解决问题的能力就会提升得越快。Netty 的应用场景非常广,不只是做 RPC,它在 IM 即时通信、物联网及游戏开发中都被大量使用。

深入解读Netty 底层核心源码,全面分析Netty特新_第10张图片

本文适合读者

本文适合有一定 Java 基础的架构师、设计师、开发工程师、测试工程师,以及对 Java NIO 框架、Netty 感兴趣的相关人士阅读。源码阅读非常需要耐心,通过阅读 Netty 源码,读者会明显感觉到自身编程能力及源码阅读能力的提升,尤其是多线程编程能力。建议读者反复阅读至少 3 遍以上,直至对 Netty 的 Channel、Handler、NioEventLoop、ByteBuf 的各个方法都了如指掌。希望本文能够帮助到大家提升自己的技术深度和广度,让自己变得更有价值,也希望本文能够得到大家的喜欢!

你可能感兴趣的:(后端,Java,程序人生,java,开发语言,程序人生,Netty,后端)