Apache Flink是由Apache软件基金开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行
在大数据的学习过程中,FIink框架也是必学的知识点。今天分享的课程,可以让你了解Flink,了解集群环境搭建运维,学习Flink中重要概念,通过知识点 + 案例教学法帮助小白快速掌握Flink。
大数据教程flink从入门到精通
1、Flink框架简介
2、Flink集群搭建运维
3、Flink Dataset开发
4、Flink 广播变量,分布式缓存,累加器
5、Flink Datastream开发
6、Flink Window操作
7、Flink watermark与侧道输出
8、Flink状态计算
9、Flink容错checkpoint与一致性语义
10、Flink进阶 异步IO,背压,内存管理
11、Flink Table API与SQL
01.Flink的引入
02.什么是Flink
03.Flink流处理特性
04.Flink基石
05.批处理与流处理
01.Flink中重要角色
02.无界数据流与有界数据流
03.Flink数据流编程模型
04.Libraries支持
01.环境准备工作
02.local模式
03.Standalone集群模式
04.Standalone-HA集群模式
05.Flink On Yarn模式-介绍
06.Flink On Yarn模式-准备工作
07.Flink On Yarn模式-提交方式-Session会话模式
08.Flink On Yarn模式-提交方式-Job分离模式
09. Flink运行架构-Flink程序结构
10. Flink运行架构-Flink并行数据流
11. Flink运行架构-Task和Operator chain
12. Flink运行架构-任务调度与执行
13. Flink运行架构-任务槽与槽共享
01.入门案例
02.入门案例-构建工程、log4j.properties
03.入门案例-代码运行yarn模式运行
04.DataSource-基于集合
05.DataSource-基于文件
06.Transformation开发
07.Datasink-基于集合
08.Datasink-基于文件
09.执行模式-本地执行
10.执行模式-集群执行
11.广播变量
12.累加器
13.分布式缓存
14.扩展并行度的设置
01.入门案例-流处理流程
02.入门案例-示例、参考代码
03.流处理常见Datasource
04.Datasource基于集合
05.Datasource基于文件
06.Datasource基于网络套接字
07.Datasource-自定义source-SourceFunction
08.Datasource-自定义source-ParallelSourceFunction
09.Datasource-自定义source-RichParallelSourceFunction
10.Datasource-自定义source-MysqlSource
11.Datasource-自定义source-KafkaSource
12.DataStream-transformations
13.DataSink-输出数据到本地文件
14.DataSink-输出数据到本地集合
15.DataSink-输出数据到HDFS
16.DataSink-输出数据到mysql,kafka,Redis
01.为什么需要window
02.什么是window
03.Flink支持的窗口划分方式
04.Time-window之tumbling-time-window
05.Time-window之sliding-time-window
06.Time-window之session-window
07.Count-window之tumbling-count-window
08.Count-window之sliding-count-window
09.window-Apply函数
01.时间分类
02.watermark之数据延迟产生
03.watermark之解决数据延迟到达
04.watermark综合案例
05.watermark之数据丢失
06.watermark+侧道输出保证数据不丢失
01.状态管理概述之无状态计算
02.状态管理概述之有状态计算
03.状态管理概述之有状态计算场景
04.状态的类型之Managed State&Raw State
05.状态的类型之Keyed State&Operator State
06.API演示之ValueState
07.API演示之MapState
08.案例之OperatorState
09.案例之BroadcastState
01.checkpoint是什么
02.checkpoint执行流程
03.checkpoint持久化存储
04.案例之checkpoint设置演示
05.Flink重启策略之重启策略配置
06.案例之重启策略演示
07.Savepoint与checkpoint区别
08.案例之savepoint演示
09.端到端一致性语义解释
10.案例之kafka实现EndToEnd一致性语义
11.案例之Mysql实现EndToEnd一致性语义
01.异步IO之使用前提
02.异步IO之核心API Async IO
03.案例之异步IO案例
04.什么是反压问题
05.Flink如何解决反压问题
06.Flink内存管理
07.定制化内存管理
08.定制化序列化框架
09.使用堆外内存
01.Flink sql背景
02.sql常用算子之select
03.sql常用算子之where
04.sql常用算子之distinct
05.sql常用算子之group by
06.sql常用算子之union_union all
07.sql常用算子之join
08.sql常用算子之group window
09.案例之批处理sql案例
10.案例之流处理sql案例