Flink HA模式环境搭建

前提：hadoop ha和zookeeper已经安装完毕

一、下载Flink安装包

• Flink官网下载

二、下载Flink依赖的Hadoop包

• Flink依赖的Hadoop包：点击下载

三、环境规划

• 五台虚拟机：

  hadoop002 主节点
  hadoop003 主节点（备）
  hadoop004 从节点
  hadoop005 从节点
  hadoop006 从节点

四、安装配置（在hadoop002上进行所有配置）

1. 上传Flink安装包到Hadoop002上
2. 解压安装到指定目录下，执行：

   tar -zvxf /tools/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar -C /training/
   

3. 配置环境变量（可选，建议配置，并同步到其他节点），vi ~/.bash_profile，添加如下内容：

   #flink
   export FLINK_HOME=/training/flink-1.10.1
   export PATH=$PATH:$FLINK_HOME/bin
   # 配置Hadoop配置文件所在目录，防止找不到Hadoop配置
   export HADOOP_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop/
   

4. 使环境变量生效，执行：source ~/.bash_profile
5. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/flink-conf.yaml文件,修改如下内容：

   #common 部分只需要修改如下选项，其中hadoop002为主节点
   jobmanager.rpc.address: hadoop002
   taskmanager.numberOfTaskSlots: 3 # 改成3，可不改
   parallelism.default: 3 #改成3，可不改
   # High Availability
   high-availability: zookeeper
   # ns1为hadoop HA的名称
   high-availability.storageDir: hdfs://ns1/ha/
   high-availability.zookeeper.quorum: hadoop002:2181,hadoop003:2181,hadoop004:2181
   # 其他暂时默认即可
   

6. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/masters文件,修改如下内容:

   hadoop002:8081
   hadoop003:8081
   

7. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/slaves文件,修改如下内容:

   hadoop004
   hadoop005
   hadoop006
   

8. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/zoo.cfg文件,需要修改如下内容:

   # ZooKeeper quorum peers
   server.1=hadoop002:2888:3888
   server.2=hadoop003:2888:3888
   server.3=hadoop004:2888:3888
   

9. 将下载好的依赖flink-shaded-hadoop-2-uber-2.7.5-10.0.jar上传到flink安装目录下的lib目录中
10. 然后将整个flink安装目录拷贝到其他节点中，可以执行如下命令：

      scp -r /training/flink-1.10.1 root@hadoop003:/training
      scp -r /training/flink-1.10.1 root@hadoop004:/training
      scp -r /training/flink-1.10.1 root@hadoop005:/training
      scp -r /training/flink-1.10.1 root@hadoop006:/training
    

11. 启动集群（在hadoop002上），执行：start-cluster.sh
12. 成功后检查下进程：
    主节点：StandaloneSessionClusterEntrypoint
    从节点：TaskManagerRunner
13. 打开网页查看，访问端口为8081,两个主节点都会看到如下信息：