02.Flink内存模型以及细粒度的资源管理

本文主要介绍下Flink对内存是怎么分配的以及相应的配置优化，还会介绍下Flink对资源更细粒度的管理策略

1. Flink的内存组成

Flink的内存从功能上包括Flink总内存和JVM特定内存两部分，其中重要的是Flink总内存的构成，它的构成分为heap memory 和off-heap memory。heap memory又分为framework memory和task memory。off-heap memory 分为managed memory（托管内存）和Direct memory，其中direct memory又分为，network memory，framework off-heap memory ，task off-heap memory，具体如下图所示

• Flink总内存： 在yarn部署模式下通过taskmanager.memory.process.size指定大小（必须指定），这个指定大小是TM的总体大小，Flink总内存大小还需要减去JVM特定内存大小
• Flink堆内存： 主要有framework和task memory，它们主要是运行用户程序代码的时候使用，它通过taskmanager.memory.framework.heap.size（默认128M）和taskmanager.memory.task.heap.size（没有默认值，不指定会通过计算得到）
• Managed memory： managed memory用于代码中状态后端的存储开销，通过taskmanager.memory.managed.size没有默认值一般不指定，一般会根据比例参数来修改taskmanager.memory.managed.fraction（默认flink总内存的0.4）
• direct memory： 它主要作用是减少GC压力，并提升性能和效率，其中包括framework off-heap，task off-heap以及network
  • 其中framework off-heap memory，task off-heap memory跟堆上的framework，taskmemory功能类似
  • network： 它用于网络数据交换，数据传输的本地缓存，例如：TM之间的shuffle，广播，与外部组件的数据传输。它通过taskmanager.memory.network.min（默认64M），taskmanager.memory.network.max（默认1G），taskmanager.memory.network.fraction（默认是Flink总内存的0.1）这些参数来控制，用的最多的是通过调整比例来控制
• JVM特定内存： 它用来存储JVM加载类的元数据信息

2.Flink的精细化资源管理

flink默认情况下是通过粗粒度的方式管理资源，也就是TM在分配slot的资源时，每个slot中的资源是一样的，这在大多数的情况下是没有问题的，如果在整个pipeline中，各个Task的并行度差异很大的情况下，粗粒度的方式的资源利用率就会 很低下，就以如下的图所示，上游需要128个并行度而下游只需要8个并行度，如果按照粗粒度的管理方式，128个slot中有112个slot只需要运行kafka对应的task，而它拥有的资源是跟跑完整个pipeline所在的槽是一样的，而且slot之间资源是不共享的（subtask是可以共享slot达到资源高效利用的目的），这就会导致资源的浪费。

所有就需要更加细粒度的资源管理方案，就是TM在通过按需来分配slot给到对应的任务运行，如下图所示，按照各个算子链并发度和对应的资源需求分成了四组，每组给他们分配不同资源的slot，这样就能使资源更高效的利用

• 具体实现
  代码中通过创建不同的SlotSharingGroup对象，然后在不同的SlotSharingGroup对象中配置相应需要的资源即可，SlotSharingGroup对象中可根据需求配置CPU cores，Task Heap Memory，Task off-heap memory，Managed Memory，以及额外的自定义资源如GPU资源