flink集群的ha(适用于初学者,人肉实验,帮助应该很大)

  上一次介绍了flink的原理架构以及集群的部署配置,这一次小弟来写关于flink集群的ha

       希望自己写的文档对初学者有比较直观的帮助


flink高可用

cd conf/ 

vi flink-conf.yaml

flink集群的ha(适用于初学者,人肉实验,帮助应该很大)_第1张图片

有上面这个配置是zk集群不在flink所在的机器上,上面参数意思

1.高可用配置

2.zk的仲裁:这里填写的是zk集群里面配置的所有的ip:2181端口,中间用逗号分隔(配置zk的时候会配置)

3.指定元数据的存储位置,以便恢复jobmanager时候用。

4.可以选择性配置,flink在zk中节点下面放置需要协调数据的目录

接下来还需要配置

cd conf/

vi masters

这里可以添加另外一台从节点的 ip:8081端口

  

这里配置几台服务器就表示有机几台备用jobmanager

     在启动flink集群之前你先启动你的zk集群,然后启动flink,你就发现在master里面配置的另外一台机器也会有        jobmanager。

怎么判断用的那个jobmanager,你在浏览器用IP:8081端口登陆webUI,当你kill掉一个jobmanager,你会发现原来那个主节点的

jobmanager登陆不上去,你登陆备用的jobmanager的IP:8081可以登陆。flink的高可用配置完成。

flink集群的ha(适用于初学者,人肉实验,帮助应该很大)_第2张图片

另外一种方法,首先注释掉上面那种方法中在flink-conf.yaml中对zk的配置,然后flink集群自身也有zoo.cfg文件,

我们可以vi zoo.cfg然后填写

类似如下配置

flink集群的ha(适用于初学者,人肉实验,帮助应该很大)_第3张图片

下面的server.1=ip:2888:3888(ip表示flink集群的ip)

同样将文件复制到其他机器上即可。

后续也需要如上修改masters里面的配置


上面2中方法都可以,一种是当zk集群跟flink不在一起,另外一种是在一起。

然后启动时候先启动zk然后启动flink。


多多指教,感觉写的很low,但是初学者有什么疑问,欢迎评论,在下会改进的

你可能感兴趣的:(大数据框架flink)