原文链接:https://blog.csdn.net/a_drjiaoda/article/details/88037282
前言:Flink的运行一般分为三种模式,即local、Standalone、On Yarn。
在安装Flink之前,需要对安装环境进行检查。本文是建立在Hadoop、Zookeeper等常规大数据软件都已经安装成功的前体下,由于在时间环境中,常常需要Hadoop的组件配合Flink,因此我们在官网下载安装包时,需要找到对应Hadoop版本的Flink安装包以及系统中Scala的版本,我使用的版本是Hadoop2.8.5+scala2.11.12。scala安装不多做赘述,只需修改一下环境变量即可,比安装QQ还简单。
下载Flink安装包
下载Flink二进制包:https://flink.apache.org/downloads.html, 选择flink-1.7.2-bin-hadoop28-scala_2.11.tgz。保存到windows下之后,使用winScp传输到linux系统下/usr目录,这个目录只是小厨将所有的系统软件都放在这里,为了清晰的访问各个系统的文件夹。
解压安装:使用命令 tar -zvxf flink-1.7.2-bin-hadoop28-scala_2.11.tgz对文件进行解压,为了目录整洁,这里使用命令将解压完的文件重命名为flink: mv flink-1.7.2/ flink
一:local模式
Local模式比较简单,用于本地测试,因此不多做赘述。只需在主节点上解压安装包就代表成功安装了,在flink安装目录下使用./bin/start-cluster.sh命令,就可以通过master:8081监控集群状态,关闭集群命令:./bin/stop-cluster.sh。
二:Standalone模式
Standalone模式顾名思义,是在本地集群上调度执行,不依赖于外部调度机制例如YARN。此时需要对配置文件进行一些简单的修改,我们预计使用master节点当Job manage,master、slave1、slave2三台机器充当Task Managers。
1、修改环境变量,vi /etc/profile,添加以下内容
export FLINK_HOME=/usr/flink
export PATH=$FLINK_HOME/bin:$PATH
2、更改配置文件flink-conf.yaml,cd $FLINK_HOME/conf, vi flink-conf.yaml
主要更改的位置有:
jobmanager.rpc.address: master
taskmanager.numberOfTaskSlots: 2
parallelism.default: 4
上述我们只列出了一些常用需要修改的文件内容,下面我们再简单介绍一些
# jobManager 的IP地址
jobmanager.rpc.address: master
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小,默认为1
taskmanager.numberOfTaskSlots: 2
# 程序默认并行计算的个数,默认为1
parallelism.default: 4
3、配置masters文件
该文件用于指定主节点及其web访问端口,表示集群的Jobmanager,vi masters,添加master:8081
4、配置slaves文件,该文件用于指定从节点,表示集群的taskManager。添加以下内容
master
slave1
slave2
5、分发flink服务,并在从节点环境变量文件/etc/profile中添加相关内容
scp -r /usr/flink root@slave1:/usr
scp -r /usr/flink root@slave2:/usr
6、启动flink集群 (因为在环境变量中已经指定了flink的bin位置,因此可以直接输入start-cluster.sh)
7、验证flink进程,登录web界面
由上图可看出,在master节点上已经启动了flink的Jobmanager和Taskmanager进程,slave节点启动了Taskmanager进程,Flink集群的相关服务已正常启动,下面查看Web界面是否正常,登录配置的master的ip地址+端口号:192.168.83.129:8081,flink cluster情况如下:
至此,standalone模式已成功安装。
注:这里只是集群模式而已,在实际场景中,我们一般需要配置为HA,防止Jobmanager突然挂掉,导致整个集群或者任务执行失败的情况发生。下面介绍一下Standalone HA模式的搭建安装
三、Standalone HA模式
当Flink程序运行时,如果jobmanager崩溃,那么整个程序都会失败。为了防止jobmanager的单点故障,借助于zookeeper的协调机制,可以实现jobmanager的HA配置—-1主(leader)多从(standby)。这里的HA配置只涉及standalone模式,yarn模式暂不考虑。
本例中规划Jobmanager:master,slave1(一个active,一个standby);Taskmanager:slave1,slave2;zookeeper集群。
1、更改flink-conf.yaml配置文件
1.jobmanager端口
jobmanager.web.port: 8081(需要防止端口冲突)
1.jobmanager地址
注释jobmanager.rpc.address:flink配置项
HA模式下,jobmanager不需要指定,在master file中配置,由zookeeper选出leader与standby。
2.checkpoints目录
检查点生成的分布式快照的保存地点,默认是jobmanager的memory,但是HA模式必须配置在hdfs上,
且保存路径需要在hdfs上创建并指定路径
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://192.168.83.129:9000/flink-metadata/checkpoints
3.hadoopconf路径:
指定hadoop conf路径,这里需要告诉Flink,hadoop配置的路径,否则会报错
fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop
4.zookeeper信息
recovery.mode: zookeeper
recovery.zookeeper.quorum: master:2181,slave1:2181,slave2:2181
recovery.zookeeper.storageDir: hdfs://192.168.83.129:9000/flink-metadata/recovery
recovery.zookeeper.path.root: /flink
recovery.zookeeper.path.namespace: /flink
配置项说明:
storageDir存储jobmanager的元数据信息,包括用于恢复的信息;
recovery.zookeeper.path.root代表zookeeper中节点信息;
recovery.zookeeper.path.namespace,如果Flink集群有不止一个,那么这个值需要指定,不能用默认的名字
2、配置masters文件
master:8081
slave1:8081
注意: spark有个端口已经占用了8081,如果要和spark部署到同一个集群中,应当防止端口冲突
3、分发配置文件,将刚刚修改的配置文件slaves和flink-conf.yaml分发至另外两个节点。
4、重启flink集群:start-cluster.sh
四、Flink on yarn
Flink on yarn的模式适用于实际环境,最近也一直听到很多关于flink on yarn 的消息。由于比较重要,因此单独放一篇《Flink on Yarn模式部署始末》