flink系列(一)flink部署及架构简介

Flink系统架构中包含了两个角色,分别是JobManager和TaskManager,是一个典型的Master-Slave架构。JobManager相当于是Master,TaskManager相当于是Slave

flink系列(一)flink部署及架构简介_第1张图片

1. Standalone 部署安装

https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.
11.tgz

node1 node2 node3
(master) (slave) (slave)

flink系列(一)flink部署及架构简介_第2张图片

1.1 修改flink-conf.yaml配置文件

#JobManager地址
jobmanager.rpc.address: node01

# JobManagerRPC通信端口
jobmanager.rpc.port: 6123

# JobManager所能使用的堆内存大小
jobmanager.heap.size: 1024m

#  TaskManager所能使用的堆内存大小
taskmanager.heap.size: 1024m

# TaskManager管理的TaskSlot个数,依据当前物理机的
taskmanager.numberOfTaskSlots: 2
#核心数来配置,一般预留出一部分核心(25%)给系统及其他进程使用,一个slot对应一个core。如果core支持超线程,那么slot个数*2

#指定WebUI的访问端口
rest.port: 8081

1.2 修改slaves文件

配置slave节点

node2
node3

1.3 启动集群

2. flink 高可用集群搭建

3. flink on yarn

        以 Yarn 模式部署 Flink 任务时,要求 Flink 是有 Hadoop 支持的版本, Hadoop环境需要保证版本在 2.2 以上,并且集群中安装有 HDFS 服务

3.1 Session-cluster 模式

        Session-Cluster 模式需要先启动集群,然后再提交作业,接着会向 yarn 申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn 中的其中一个作业执行完成释放了资源, 下个作业才会正常提交,所有作业共享 Dispatcher 和 ResourceManager;共享资源;适合规模小执行时间短的作业

        在 yarn 中初始化一个 flink 集群,开辟指定的资源,以后提交任务都向这里提交。这个 flink 集群会常驻在 yarn 集群中, 除非手工停止

启动hadoop集群

启动yarn-session

./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

3.2 Per-Job-Cluster 模式

4. filink 任务提交的两种方式

4.1 命令行提交任务

flink run -c test.WordCount -p 2 -d flinkDemo-1.0-SNAPSHOT.jar

-c :指定全限定类名

-d:后台运行

-p : 2代表设置的默认并行度

4.2 webUI页面提交

指定全限定类名

指定并行度

flink系列(一)flink部署及架构简介_第3张图片

取消任务:

./bin/flink list
./bin/flink cancel jobid

你可能感兴趣的:(flink,大数据,flink,scala,spark)