【flink集群+高可用搭建】

flink

1.集群搭建

1. 上传flink压缩包到指定目录

2. 解压

   tar -zxvf flink-1.10.1-bin-scala_2.12.tgz 
   

   重命名

    mv flink-1.10.1 flink
   

3. 配置环境变量：

   export FLINK_HOME=/usr/local/software/flink
   export PATH=$FLINK_HOME/bin:$PATH
   #export HADOOP_CONF_DIR=/usr/local/software/hadoop/etc/hadoop
   

   生效：

   source /etc/profile
   

4. 配置master

   vi conf/masters
   

   内容：

   10.202.80.109:8081
   
   

   配置slaves

   vi conf/slaves
   

   内容：

   10.202.80.110
   10.202.80.196
   
   

5. 修改配置文件conf/flink-conf.yaml:

   cd flink/
   vi conf/flink-conf.yaml
   

   内容如下：

   jobmanager.rpc.address: 10.202.80.109
   taskmanager.memory.preallocate: false
   #JobManager的Web界面的端口（默认：8081）
   jobmanager.web.port: 8081
   #配置每一个taskmanager生成的临时文件目录（选配）
   taskmanager.tmp.dirs: /usr/local/software/flink/tmp
   

6. 创建文件：

   注意！！一定要创建

   进入flink目录
   mkdir tmp
   chmod 777 tmp
   

7. 分发

   scp -r ../flink [email protected]:/usr/local/software/
   scp -r ../flink [email protected]:/usr/local/software/
   

   注意：配置环境变量

8. 启动：

   bin/start-cluster.sh
   

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SttQWzrb-1639724313737)(C:\Users\ZYZ\AppData\Roaming\Typora\typora-user-images\image-20211208111424357.png)]

9. 查看进程

   jps
   

10. 访问网址：10.202.80.109：8081

会出现如下页面

2.相关命令

2.1 启动、停止flink集群

• 启动：./bin/start-cluster.sh
• 停止：./bin/start-cluster.sh

2.2启动、停止jobmanager

如果集群中的jobmanager进程挂了，执行下面命令

• bin/jobmanager.sh start
• bin/jobmanager.sh stop

2.3 启动、停止taskmanager

添加新的taskmanager节点或者重启taskmanager节点

• bin/taskmanager.sh start
• bin/taskmanager.sh stop

3 高可用模式

3.1 安装步骤

3.1.1下载依赖

下载架包 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar

把他放到 flink/lib目录下

3.1.2修改配置文件

vi conf/flink-conf.yaml

添加内容如下：

#jobmanager.rpc.address: 10.202.80.109  屏蔽
jobmanager.rpc.port: 6123
# 下面四项根据自己实际情况配置
jobmanager.heap.size: 2048m 
taskmanager.memory.process.size: 4096m
taskmanager.numberOfTaskSlots: 8
parallelism.default: 8


high-availability: zookeeper
high-availability.zookeeper.quorum: 10.202.80.109:2181,10.202.80.110:2181,10.202.80.196:2181
high-availability.zookeeper.path.root: /flink
high-availability.storageDir: file:///flink/recovery #本地的文件系统
yarn.application-attempts: 10

将配置好的flink-conf.yaml分发到另外两个节点：

scp -r conf/flink-conf.yaml [email protected]:$PWD/conf

vi ../flink/conf/zoo.cfg
#分发
scp -r conf/zoo.cfg [email protected]:$PWD/conf

• 在10.202.80.109的conf下的master文件中添加多个节点：

10.202.80.109:8081
10.202.80.110:8081

3.1.3 启动：

1. 启动zk集群

2. 启动flink集群

   start-cluster.sh
   

查看节点信息：

1. 进程：

2. 访问web-ui界面：