Flink中任务的并发:slot和parallelism

Flink中任务的并发:slot和parallelism

1 任务的执行流程

Flink有三大组件:client、JobManager、TaskManager。client将用户提交的任务解析成执行流程图,然后提交给JobManager,JobManager收到任务执行流程图后,进行并行化,JobManager再申请TaskManager资源,将具体的任务交给TaskManager执行。

2 slot

TaskManager相当于是Worker,是具体执行任务的工作者,TaskManager在启动后会设置slot的数量,即当前TaskManager可以执行的任务数量。

那么一个Task是否只包含一个运算呢?如下代码,其中的数据源读取、keyBy、window、apply、sink是否都分别需要一个Task执行呢?

kafkaStream
            .keyBy(0, 1, 2)

你可能感兴趣的:(监控,flink)