Flink 配置standalone集群高可用性和YARN 集群高可用性

1. standalone集群高可用性

standalone 集群的 JobManager 高可用性的概念是，任何时候都有一个主 JobManager 和 多个备 JobManagers，以便在主节点失败时有新的 JobNamager 接管集群。
这样就保证了没有单点故障，一旦备 JobManager 接管集群，作业就可以依旧正常运行。主备 JobManager 实例之间没有明确的区别。每个 JobManager 都可以充当主备节点。

1.1 如何配置

1. cd {flink_home}/conf
2. vim zoo.cfg
		# 如下配置，本地zookeeper节点有多少配置多少
		server.1=master:2888:3888
		server.2=node1:2888:3888
3. vim master
		# master文件包含启动 JobManagers 的所有主机以及 Web 用户界面绑定的端口
		master:8081
		node1:8081
		node2:8081
4. vim flink-conf.yaml
		# 设置高可用模式
		high-availability: zookeeper
		high-availability.zookeeper.quorum:master:2181,node1:2181
		#高可用存贮目录
		high-availability.storageDir: hdfs:///flink/ha/
		
5. 先启动zookeeper集群,然后启动Flink
		start-zookeeper-quorum.sh
		start-cluster.sh

2. 配置yarn集群高可用

1. vim yarn-site.xml
		#添加下面内容,配置 application master 的最大重试次数
		
			  yarn.resourcemanager.am.max-attempts
			  4
			  
			    The maximum number of application master execution attempts.
			  
		
2.  vim flink-conf.yaml
		# 设置高可用模式
		high-availability: zookeeper
		high-availability.zookeeper.quorum:master:2181,node1:2181
		#高可用存贮目录
		high-availability.storageDir: hdfs:///flink/ha/
		# 配置最大重试次数
		yarn.application-attempts: 10

3. 先启动zookeeper集群,然后启动Flink
		start-zookeeper-quorum.sh
		start-cluster.sh