Flink简单记录

Flink基本介绍

特点

1 事件驱动

2 无界有状态的数据流
3 分层API

4   支持事件时间和处理时间语义
	精确一次的状态一致性保证
	低延迟，毫秒级延迟
	与众多常用存储系统的连接
	高可用，动态扩展，实现7*24小时全天运行

Spark和Flink

Flink Yarn工作模式

1 Session-cluster 模式

2 Per-Job-Cluster 模式

运行时架构

运行时组件

JobManager，TaskManager，ResourceManager，Dispatcher

JobManager

TaskManager

ResourceManager

Dispatcher

任务提交流程/任务调度流程

Yarn 提交

TaskManager和Slot

slot 为最小的计算单元
每个slot内存独享，是资源隔离的
slot可以代码设置共享组 （不同的共享组一定会占用不同的slot）
一个任务占用的slot数量为任务阶段所需slot数量最大的数量。如果slot设置了共享组则为各个共享组最大slot值的总和

TaskManager 就是一个JVM进程，一个TaskManager 包含一个或多个 slot

数据流

任务链优化 Operator chain

合并任务进行优化，例如read读数据和flatmap操作经常合并为一个任务
条件：同一共享组，同一并行度，不重分区（是one-one-one）

流处理API

1 Environment API 指定默认并行度，JobManager IP/Port等环境配置。flink做了默认封装
2 Source 读取数据本地数据，外部数据 （如kafka），自定义类读取数据源
	例如：DataStream xxx = environment.readxxx
3 TransForm
	map，flatMap，filter，
	keyBy：基本hash重分区
	滚动聚合算子，reduce
	split 和 select
		split 根据某些特征把一个DataStream 拆分成多个DataStream。select在从中选取一个DataStream
		select 和 split 都是根据标签拆分和选取
	connect 和 coMap
		connect 是合并两条（只能两条）流DataStream得到ConnectedStreams，但是合并的内部两条流是独立分开的，数据和形式不变化
		coMap，coFlatMap 是对ConnectedStreams 做处理逻辑，真正的合并两条流
	union
		合并两条或多条流，但是多条流必须是相同的数据类型
4 支持的数据类型
	支持所有的java和scala基础数据类型
	支持Java和scala的元组Tuples数据类型
	scala样例类 case classes
	java 简单对象
5 UDF 函数类 
6 shuffle，global等api的重分区
7 sink
	stream.addSink(new mySink(xxx))

窗口

1 类型
	必须keyBy之后才能做window操作，之后对数据做逻辑处理聚合操作
	时间窗口
		滚动时间：窗口长度固定，没有重叠 （左闭右开）
		滑动时间：有重叠
		会话窗口：一段时间没有收到数据，则生成新窗口。由指定时间长度间隙组成。时间无对齐
	计数窗口
		滚动计数
		滑动计数
	窗口数据处理：
		增量聚合：来一条数据就计算，保存一个状态
		全窗口聚合：先把所有数据收集起来，等计算时遍历所有数据

时间语义

时间语义
	event time：事件创建的时间
	ingestion time：数据进入flink的时间
	processing time：执行操作算子的本地系统时间，和机器无关 （默认是处理时间）
	如果是processing time，水位线默认为0。如果不是processing time模式，水位线默认为200毫秒的周期
设置Event Time
水位线 Watermark
	水位线是一条带着时间戳的特殊数据记录
	如何避免网络等原因导致乱序数据带来的计算不正确？
		-- 水位线是衡量event time进展机制，可以设置延迟触发。可以结合window处理乱序数据问题
水位线传递，引入和设定
	延迟时间太久可能会导致得到结果很慢，太快可能会导致数据错误。
	1 用水位线
	2 如果依然缺数据，可以用flink处理迟到数据机制 allowLateness(Time.minutes(1)) 延长保存时间。
	3 如果依然缺数据，用sideOutputLateData(xxxTag) 再收集迟到的数据做额外的处理

1 例如当水位线通过广播传递到下游设置到8，则8之前的数据就不再接收。
2 整体思路：假设延迟设置3，当数据8传递过来时，水位线则为5。例如此时第一个桶范围为0-5，不再接受新数据，计算结束后就丢弃。水位线到5之前，该桶会一直保留等待数据
3 每个任务可能上游有多个并行任务，会同时发送多个水位线，按照木桶原理取最小的水位线

状态管理

算子状态 Operatior State
	算子任务范围
		列表，联合列表 （会checkpoint保存，故障或重启等情况可以检查点恢复数据），广播列表
	根据算子任务共享状态

键控状态 Keyed State
	根据输入数据流中定义的key来维护和访问
	类型：value状态，list列表状态，key-value状态，聚合状态
	根据key共享状态
状态后端 State Backends

ProcessFunction API （底层API）

容错机制

一致性检查点 checkpoint
	一致性表达这个时间点，所有任务恰好处理完一个相同的输入数据

从检查点恢复状态
Flink 检查点算法 （通过时间间隔参数触发）
	基于chandy-lamport算法的分布式快照，分别保存最后合并
保存点 Savepoints
	和检查点基本一致，额外多了可以有计划的手动备份

状态一致性

状态一致性
	就是保证数据计算结果正确，不丢失数据，不重复计算。数据丢失恢复后能完全正确。
	flink 使用轻量级快照机制，检查点来保证精确一次
一致性检查点 checkpoint
端到端状态一致性
端到端精确一次保证
	内部保证：checkpoint
	source端：可重设数据读取位置，数据丢了重传
	sink端：从故障恢复时，数据不会重复写入外部系统 
		幂等写入
		事务写入：原子性，所有操作要么全成功，要么全失败。失败就回滚
			等所有checkpoint完成，才提交
			实现方式：
				预写日志：预存，checkpoint全部结束，一批全部写入。但是批处理性能差
				两阶段提交 2pc：

flink+kafka端到端状态一致性保证

当所有算子都通知Job Manager 计算已完成，Job Manager则决定任务全部完成，状态由预提交改成已提交

Table API / Flink SQL