Flink 安装示例
前言
主要参考博客地址：https://blog.csdn.net/qq_39429714/article/details/84328807
用作安装 flink 集群笔记。（好记性不如烂笔头。）
Standalone集群安装
上传安装包到 linux
这里我选的版本是 1.8.2
解压
tar –zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /home/hadoop/
修改配置文件
vim conf/flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 2
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8081
taskmanager.tmp.dirs: /export/servers/flink-1.5.0/tmp
————————————————
解释：
配置参数解释：
jobmanager.rpc.address: localhost JobManager的外部地址，它是分布式系统的主/协调器（DEFAULT：localhost）设置成你master节点的IP地址
jobmanager.rpc.port: 6123 JobManager的端口号（DEFAULT：6123）
jobmanager.heap.size: 1024m JobManager的默认JVM堆大小
taskmanager.heap.size: 1024m用于TaskManagers的JVM堆大小
taskmanager.numberOfTaskSlots: 1 每台机器可用的CPU数量（默认值：1）
taskmanager.memory.preallocate: false 是否进行预分配内存，默认不进行预分配，这样在我们不使用flink集群时候不会占用集群资源
parallelism.default: 1 指定程序的默认并行度
jobmanager.web.port: 8081 JobManager的Web界面的端口（默认：8081）
taskmanager.tmp.dirs： 临时文件的目录(自己定)
vim masters
hadoop02:8081
vim slaves
hadoop01
hadoop02
hadoop03启动flink集群
方式一：
添加一个JobManager
bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all
添加一个TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all
方式二：
bin/start-cluster.sh
bin/stop-cluster.sh运行测试任务
bin/flink run /export/servers/flink-1.5.0/examples/batch/WordCount.jar --input /export/servers/zookeeper.out --output /export/servers/flink_data
集群的HA高可用
修改配置：
修改 flink-conf.yaml
vim conf/flink-conf.yaml
jobmanager.rpc.address: hadoop02 //注意。HA的需要按照机器分配
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 1024
taskmanager.heap.mb: 1024
taskmanager.numberOfTaskSlots: 2
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8081
taskmanager.tmp.dirs: /Jerry/tmp/flink-1.5.0/tmp
————————————————
#开启HA
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://hadoop01:9000/flink-checkpoints
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop01:9000/flink/ha/
high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181
high-availability.zookeeper.client.acl: open
HA参数解释：
state.backend 启用检查点，支持两种后端备份点：
jobmanager：内存状态，备份到JobManager的 ZooKeeper的内存。应仅用于最小状态（Kafka偏移量）或测试和本地调试。
filesystem：状态在TaskManager的内存中，并且状态快照存储在文件系统中。支持Flink支持的所有文件系统，例如HDFS，S3 …
state.backend.fs.checkpointdir：用于将检查点存储在Flink支持的文件系统中的目录。注意：状态后端必须可以从JobManager访问，file://仅用于本地设置
high-availability: zookeeper 定义用于群集执行的高可用性模式
high-availability.storageDir
用于存储JobManager元数据的目录; 这是持久的状态后端，只有一个指向这个状态的指针存储在ZooKeeper中。完全像检查点目录一样，它必须可以从JobManager访问
high-availability.zookeeper.quorum zookeeper的地址修改 zoo.cfg
################################################################################
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements. See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership. The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
################################################################################
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial synchronization phase can take
initLimit=10
# The number of ticks that can pass between sending a request and getting an acknowledgement
syncLimit=5
# The directory where the snapshot is stored.
# dataDir=/tmp/zookeeper
# The port at which the clients will connect
clientPort=2181
# ZooKeeper quorum peers
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
# server.2=host:peer-port:leader-port修改 masters
hadoop01:8081
hadoop02:8082
修改 slave
hadoop01
hadoop02
hadoop03
启动HA的flink
1：启动zookeeper
Bin/zkServer.sh start (所有的zookeeper确保启动成功)
2：启动hdfs（检查点和元数据信息存储在了hdfs）
Start-dfs.sh
3：启动flink
bin/start-cluster.sh
执行成功后，测试HA：
模拟突发宕机：
此时hadoop01这台机器的jobmanager出问题，然后访问另外节点的页面：hadoop02:8082
如果IP切换成功，代表当前的HA搭建完毕；Flink 运行在 yarn 上
flink on yarn的前提是：hdfs、yarn均启动
修改hadoop的配置参数：
vim etc/hadoop/yarn-site.xml
添加：
yarn.nodemanager.vmem-check-enabled false
是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。在这里面我们需要关闭，因为对于flink使用yarn模式下，很容易内存超标，这个时候yarn会自动杀掉job
修改全局变量/etc/profile：
添加：
export HADOOP_CONF_DIR=/export/servers/hadoop/etc/Hadoop
YARN_CONF_DIR或者HADOOP_CONF_DIR必须将环境变量设置为读取YARN和HDFS配置
使用flink on yarn提交任务：
在YARN上启动一个Flink主要有两种方式：
(1)、启动一个YARN session(Start a long-running Flink cluster on YARN)；
(2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)
第一种方式：YARN session
这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和TaskManagers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.2，而且必须安装了HDFS（因为启动YARN session的时候会向HDFS上提交相关的jar文件和配置文件）
通过./bin/yarn-session.sh脚本启动YARN Session
脚本可以携带的参数：
Usage:
Required
-n,–container Number of YARN container to allocate (=Number of Task Managers)
Optional
-D Dynamic properties
-d,–detached Start detached
-id,–applicationId Attach to running YARN session
-j,–jar Path to Flink jar file
-jm,–jobManagerMemory Memory for JobManager Container [in MB]
-n,–container Number of YARN container to allocate (=Number of Task Managers)
-nm,–name Set a custom name for the application on YARN
-q,–query Display available YARN resources (memory, cores)
-qu,–queue Specify YARN queue.
-s,–slots Number of slots per TaskManager
-st,–streaming Start Flink in streaming mode
-t,–ship Ship files in the specified directory (t for transfer)
-tm,–taskManagerMemory Memory per TaskManager Container [in MB]
-z,–zookeeperNamespace Namespace to create the Zookeeper sub-paths for high availability mode
注意：
如果不想让Flink YARN客户端始终运行，那么也可以启动分离的 YARN会话。该参数被称为-d或–detached。
在这种情况下，Flink YARN客户端只会将Flink提交给群集，然后关闭它自己
启动：
bin/yarn-session.sh -n 2 -tm 800 -s 2
上面的命令的意思是，同时向Yarn申请3个container（即便只申请了两个，因为ApplicationMaster和Job Manager有一个额外的容器。一旦将Flink部署到YARN群集中，它就会显示Job Manager的连接详细信息。），其中 2 个 Container 启动 TaskManager（-n 2），每个 TaskManager 拥有两个 Task Slot（-s 2），并且向每个 TaskManager 的 Container 申请 800M 的内存，以及一个ApplicationMaster（Job Manager）。
启动成功之后，控制台显示：
去yarn页面：ip:8088可以查看当前提交的flink session
点击ApplicationMaster进入任务页面：
上面的页面就是使用：yarn-session.sh提交后的任务页面；
然后使用flink提交任务：
bin/flink run examples/batch/WordCount.jar
在控制台中可以看到wordCount.jar计算出来的任务结果；
在yarn-session.sh提交后的任务页面中也可以观察到当前提交的任务：
点击查看任务细节：
停止当前任务：
1：CTRL+C
2：stop命令
3：yarn application -kill application_1527077715040_0007
分离的YARN会话
如果不想让Flink YARN客户端始终运行，那么也可以启动分离的 YARN会话。该参数被称为-d或–detached。
在这种情况下，Flink YARN客户端只会将Flink提交给群集，然后关闭它自己。请注意，在这种情况下，无法使用Flink停止YARN会话。
使用YARN实用程序（yarn application -kill ）停止YARN会话
通过分离yarn会话来执行：
bin/yarn-session.sh -n 2 -tm 800 -s 2 -d
关闭：
yarn application -kill application_1527077715040_0007
第二种方式：在YARN上运行一个Flink作业
上面的YARN session是在Hadoop YARN环境下启动一个Flink cluster集群，里面的资源是可以共享给其他的Flink作业。我们还可以在YARN上启动一个Flink作业，这里我们还是使用./bin/flink，但是不需要事先启动YARN session：
bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
以上命令在参数前加上y前缀，-yn表示TaskManager个数
在8088页面观察：
停止yarn-cluster
yarn application -kill application的ID
注意：
在创建集群的时候，集群的配置参数就写好了，但是往往因为业务需要，要更改一些配置参数，这个时候可以不必因为一个实例的提交而修改conf/flink-conf.yaml;
可以通过：-D Dynamic properties
来覆盖原有的配置信息：比如：
-Dfs.overwrite-files=true -Dtaskmanager.network.numberOfBuffers=16368