奈学教育《大数据架构师》课程大纲

深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技 术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打 造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项 目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线 架构和实时架构，带领大家构建PB级的大数据中台，真正落地“企业千亿级的数据仓库中台”，实现 “企业级数据中心平台”，搞定“企业千亿级广告统一数据流智能分析平台”，掌握“企业级Hadoop平 台全方位二次源码开发”，让学员面对企业各种海量复杂业务场景，给出优雅的大数据架构设计方 案，从而真正成为企业级大数据架构师!

​

第一阶段：分布式协调组件

第一单元

掌握ZooKeeper的核心设计

1. ZooKeeper生态体系结构
2. ZooKeeper总体架构设计
3. ZooKeeper读写请求流程深度剖析

第二单元

掌握ZooKeeper服务端源码流程

1. ZooKeeper启动流程源码深度剖析
2. Master选举算法源码深度剖析
3. 服务端通信模型源码深度剖析

第三单元

掌握ZooKeeper客户端源码流程

1. 客户端启动流程源码剖析
2. 客户端通信模型源码剖析
3. Session管理机制源码剖析

第四单元

掌握ZooKeeper企业应用

1. ZooKeeper写数据流程源码剖析
2. ZooKeeper企业级应用
3. ZooKeeper调优

第二阶段：大数据基础平台

第五单元

掌握HDFS的核心架构设计

1. HDFS架构优势
2. Hadoop RPC原理剖析

第六单元

掌握HDFS集群启动流程

1. NameNode启动流程源码剖析
2. NameNode核心服务启动源码深度剖析
3. DataNode启动流程源码深度剖析
4. DataNode注册流程源码深度剖析
5. DataNode心跳流程源码深度剖析

第七单元

掌握HDFS元数据管理流程

1. HDFS元数据管理流程源码深度剖析
2. HDFS支持亿级流量的秘密源码深度剖析

第八单元

掌握HDFS数据读写流程

1. HDFS写数据流程源码剖析源码深度剖析
2. HDFS读数据流程源码剖析源码深度剖析

第九单元

掌握MapReduce的核心架构设计

1. MapReduce核心架构设计
2. Map端源码深度剖析

第十单元

掌握MapReduce的核心源码流程

1. Shuffle源码深度剖析
2. Reducer端源码深度剖析

第十一单元

掌握YARN核心架构设计原理

1. YARN架构设计
2. YARN运行流程深度剖析
3. YARN核心组件源码深度剖析

第三阶段：分布式数据仓库

第三阶段：分布式数据仓库

第十二单元

掌握Hive核心组件以及调优技巧

1. Hive运行流程深度剖析
2. Hive核心组件源码深度剖析
3. Hive企业级调优

第四阶段：分布式列式数据库

第四阶段：分布式列式数据库

第十三单元

掌握HBase核心架构设计原理

1. HBase架构设计优势
2. HBase核心组件源码剖析
3. HBase企业级案例应用

第五阶段：分布式消息系统

第五阶段：分布式消息系统

第十四单元

掌握Kafka架构设计优势

1. Kafka架构设计优势
2. Kafka消费者源码深度剖析

第十五单元

掌握服务端源码核心设计

1. Kafka服务端源码之集群启动源码深度剖析
2. Kafka服务端源码之副本同步源码深度剖析
3. Kafka服务端源码之网络架构设计源码深度剖析

第十六单元

掌握Kafka企业级调优技巧

1. Kafka服务端源码之请求处理源码深度剖析
2. Kafka企业级调优

第六阶段：分布式日志采集系统

第六阶段：分布式日志采集系统

第十七单元

掌握Flume/Canal核心组件原理

1. Flume核心组件源码深度剖析
2. Canal核心原理深度剖析

第七阶段：快速通用的分布式计算引擎

第七阶段：快速通用的分布式计算引擎

第十八单元

掌握Spark内核任务执行流程

1. Spark核心架构原理
2. Spark任务执行流程深度剖析
3. SparkCore源码深度剖析

第十九单元

掌握Spark内核企业级调优

1. SparkCore源码深度剖析
2. SparkCore企业级调优

第二十单元

掌握SparkSQL核心组件原理

1. SparkSQL核心组件深度剖析
2. SparkSQL企业案例实践

第二十一单元

掌握SparkStreaming核心流程

1. SparkStreaming核心流程深度剖析
2. SparkStreaming核心组件源码剖析
3. SparkStreaming企业案例实践

第二十二单元

掌握Spark核心开发原理

1. Spark企业案例实践

第八阶段：新一代的分布式计算引擎

第八阶段：新一代的分布式计算引擎

第二十三单元

掌握Flink核心运行流程

1.Flink核心流程深度剖析
2.Flink核心知识点梳理
3.Flink核心源码深度剖析

第二十四单元

掌握Flink核心源码流程

1.Flink核心源码深度剖析

第二十五单元

掌握Flink核心技术实践

1.Flink核心流程深度剖析
2.Flink企业案例实践

第九阶段：大数据全局架构设计

第九阶段：大数据全局架构设计

第二十六单元

掌握大数据全局架构设计思想

1.Lambda架构原理深度剖析
2.Kappa架构设计原理深度剖析
3.架构选型深度剖析

第二十七单元

掌握大数据中台落地实践方案

1.大数据中台原理深度剖析
2.大数据中台IaaS层落地
3.大数据中台PaaS层落地

第二十八单元

掌握大数据中台企业案例实践

1.大数据中台数据采集流程案例实践
2.大数据中台数据处理流程案例实践
3.大数据中台可视化层流程案例实践

第十阶段：企业级大型项目落地

第十阶段：企业级大型项目落地

第二十九单元

掌握千亿级数仓库架构设计

1.数仓分层设计
2.数仓维度建模设计
3.数仓事实表设计
4.数仓主题设计
5.数仓数据集市设计

第三十单元

掌握千亿级数仓库方案落地

1.数据采集案例实践
2.数仓落地案例实践
3.数据质量管理

第三十一单元

掌握企业级Hadoop平台源码二次开发

1.企业级Hadoop平台稳定性痛点剖析
2.企业级Hadoop平台稳定性提升

第三十二单元

掌握企业级Hadoop平台源码二次开发

1.企业级Hadoop平台稳定性痛点剖析
2.企业级Hadoop平台稳定性提升

第三十三单元

掌握PB级X2C电商用户画像系统架构设计

1.用户画像系统需求分析
2.用户画像系统指标统计
3.用户画像系统报表开发

第三十四单元

掌握PB级X3C电商用户画像系统方案实践

1.用户画像系统标签合并

第三十五单元

掌握千亿级广告统一数据流分析平台痛点方案设计

1.数据流分析平台需求分析
2.数据流分析系统架构方案设计
3.场景痛点深度剖析

第三十六单元

掌握千亿级广告统一数据流分析平台方案实践

1.数据流分析系统架构方案落地

第三十七单元

掌握企业级分布式内存对象缓存系统数据中心架构设计

1.高复用逻辑封装与高可用数据存取服务设计
2.多站点数据同步架构设计
3.数据中心数据缓存失效机制设计

第三十八单元

掌握企业级分布式内存对象缓存系统数据中心方案实践

1.企业级分布式内存对象缓存系统代码落地