Flink简介与部署

1、Flink基本介绍

1、Flink介绍

Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。

Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。

由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同。流处理一般需要支持低延迟、Exactly-once保证；而批处理需要支持高吞吐、高效处理。所以在实现的时候通常是分别给出两套实现方法，或者通过一个独立的开源框架来实现其中每一种处理方案。

比较典型的有：实现批处理的开源方案有MapReduce、Spark；实现流处理的开源方案有Storm；Spark的Streaming 其实本质上也是微批处理。

Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。

2、Flink特性

1：有状态计算的Exactly-once语义。状态是指flink能够维护数据在时序上的聚类和聚合，同时它的checkpoint机制。

2：支持带有事件时间（event time）语义的流处理和窗口处理。事件时间的语义使流计算的结果更加精确，尤其在事件到达无序或者延迟的情况下。

3：支持高度灵活的窗口（window）操作。支持基于time、count、session，以及data-driven的窗口操作，能很好的对现实环境中的创建的数据进行建模。

4：轻量的容错处理（ fault tolerance）。 它使得系统既能保持高的吞吐率又能保证exactly-once的一致性。通过轻量的state snapshots实现。

5：支持高吞吐、低延迟、高性能的流处理。

6：支持savepoints 机制（一般手动触发）。即可以将应用的运行状态保存下来；在升级应用或者处理历史数据是能够做到无状态丢失和最小停机时间。

7：支持大规模的集群模式，支持yarn、Mesos。可运行在成千上万的节点上。

8：支持具有Backpressure功能的持续流模型。

9：Flink在JVM内部实现了自己的内存管理。

10：支持迭代计算。

11：支持程序自动优化：避免特定情况下Shuffle、排序等昂贵操作，中间结果进行缓存。

3、Flink功能模块

 Deployment层： 该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN），（GCE/EC2）。

 Runtime层：Runtime层提供了支持Flink计算的全部核心实现，比如：支持分布式Stream处理、JobGraph到ExecutionGraph的映射、调度等等，为上层API层提供基础服务。

 API层： 主要实现了面向无界Stream的流处理和面向Batch的批处理API，其中面向流处理对应DataStream API，面向批处理对应DataSet API。

 Libraries层：该层也可以称为Flink应用框架层，根据API层的划分，在API层之上构建的满足特定应用的实现计算框架，也分别对应于面向流处理和面向批处理两类。面向流处理支持：CEP（复杂事件处理）、基于SQL-like的操作（基于Table的关系操作）；面向批处理支持：FlinkML（机器学习库）、Gelly（图处理）

4、Flink编程模型

 有状态的数据流处理层。最底层的抽象仅仅提供有状态的数据流，它通过处理函数（Process Function）嵌入到数据流api(DataStream API). 用户可以通过它自由的处理单流或者多流，并保持一致性和容错。同时用户可以注册事件时间和处理时间的回调处理，以实现复杂的计算逻辑。

 核心API层。 它提供了数据处理的基础模块，像各种transformation, join,aggregations,windows,stat 以及数据类型等等。

 Table API层。 定了围绕关系表的DSL(领域描述语言)。Table API遵循了关系模型的标准：Table类型关系型数据库中的表，API也提供了相应的操作，像select, project, join, group-by, aggregate等。Table API声明式的定义了逻辑上的操作（logical operation）不是code for the operation；Flink会对Table API逻辑在执行前进行优化。同时代码上，Flink允许混合使用Table API和DataStram/DataSet API。

 SQL层。 它很类似Table API的语法和表达，也是定义与Table API层次之上的，但是提供的是纯SQL的查询表达式。

3、Flink架构模型图

• Client：Flink 作业在哪台机器上面提交，那么当前机器称之为Client。用户开发的Program
  代码，它会构建出DataFlow graph，然后通过Client提交给JobManager。
• JobManager：是主（master）节点，相当于YARN里面的ResourceManager，生成环境中一般可以做HA高可用。JobManager会将任务进行拆分，调度到TaskManager上面执行。
• TaskManager：是从节点（slave），TaskManager才是真正实现task的部分。Client提交作业到JobManager，就需要跟JobManager进行通信，它使用Akka框架或者库进行通信，另外Client与JobManager进行数据交互，使用的是Netty框架。Akka通信基于ActorSystem，Client可以向JobManager发送指令，比如Submit job或者Cancel /update job。JobManager也可以反馈信息给Client，比如status updates，Statistics和results。

Client提交给JobManager的是一个Job，然后JobManager将Job拆分成task，提交给TaskManager（worker）。JobManager与TaskManager也是基于Akka进行通信，JobManager发送指令，比如Deploy/Stop/Cancel Tasks或者触发Checkpoint，反过来TaskManager也会跟JobManager通信返回Task Status，Heartbeat（心跳），Statistics等。另外TaskManager之间的数据通过网络进行传输，比如Data Stream做一些算子的操作，数据往往需要在TaskManager之间做数据传输。

当Flink系统启动时，首先启动JobManager和一至多个TaskManager。JobManager负责协调Flink系统，TaskManager则是执行并行程序的worker。当系统以本地形式启动时，一个JobManager和一个TaskManager会启动在同一个JVM中。当一个程序被提交后，系统会创建一个Client来进行预处理，将程序转变成一个并行数据流的形式，交给JobManager和TaskManager执行。

2、Flink安装部署

2.1、Flink部署运行模式

类似于spark一样，flink也有各种运行模式，其中flink主要支持三大运行模式

第一种运行模式：local模式，适用于测试调试
Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.7.x或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。一台服务器即可运行

第二种运行模式：standAlone模式，适用于flink自主管理资源
Flink自带了集群模式Standalone，主要是将资源调度管理交给flink集群自己来处理，standAlone是一种集群模式，可以有一个或者多个主节点JobManager(HA模式)，用于资源管理调度，任务管理，任务划分等工作，多个从节点taskManager，主要用于执行JobManager分解出来的任务

第三种模式：flink on yarn模式，使用yarn来统一调度管理资源

Flink ON YARN工作流程如下所示：
首先提交job给YARN，就需要有一个Flink YARN Client。

• 第一步：Client将Flink 应用jar包和配置文件上传到HDFS。
• 第二步：Client向ResourceManager注册resources和请求APPMaster Container。
• 第三步：REsourceManager就会给某一个Worker节点分配一个Container来启动APPMaster，JobManager会在APPMaster中启动。
• 第四步：APPMaster为Flink的TaskManagers分配容器并启动TaskManager，TaskManager内部会划分很多个Slot，它会自动从HDFS下载jar文件和修改后的配置，然后运行相应的task。TaskManager也会与APPMaster中的JobManager进行交互，维持心跳等。

Flink的支持以上这三种部署模式，一般在学习研究环节，资源不充足的情况下，采用Local模式就行，生产环境中Flink ON YARN比较常见。

2.2、Flink的部署安装

部署安装准备工作：关闭防火墙，关闭selinux，安装jdk，更改主机名，更改主机名与IP地址的映射关系，ssh免密码登录等。

1、Flink的local模式部署安装

在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可。

第一步：上传安装包并解压
将我们编译之后的压缩包，上传到node01服务器的/kkb/soft路径下，然后进行解压

cd /kkb/soft/
tar -zxf flink-1.8.1.tar.gz  -C /kkb/install/

第二步：直接使用脚本启动
flink在处于local模式下，不需要更改任何配置，直接解压之后启动即可
执行以下命令直接启动local模式

cd /kkb/install/flink-1.8.1
bin/start-cluster.sh
-- bin/stop-cluster.sh

启动成功之后，执行jps就能查看到启动了两个进程

18180 StandaloneSessionClusterEntrypoint
18614 TaskManagerRunner

第三步：webUI界面访问
启动两个进程成功之后，访问8081端口号即可访问到flink的web管理界面
http://node01:8081/#/overview

第四步：运行flinkbin自带的测试
node01使用linux的nc命令来向socket当中发送一些单词

sudo yum -y install nc
nc -lk 9000

node01启动flink的自带的单词统计程序，接受输入的socket数据并进行统计

cd /kkb/install/flink-1.8.1
bin/flink run examples/streaming/SocketWindowWordCount.jar   --hostname localhost  --port 9000

查看统计结果：
flink自带的测试用例统计结果在log文件夹下面
node01执行以下命令查看统计结果

cd /kkb/install/flink-1.8.1/log
tail -200f flink-hadoop-taskexecutor-0-node01.kaikeba.com.out

local模式运行成功之后，关闭local模式，我们接下来运行standAlone模式

cd /kkb/install/flink-1.8.1
bin/stop-cluster.sh

2、Flink的standAlone模式环境安装

使用standalone模式，需要启动flink的主节点JobManager以及从节点taskManager

第一步：更改配置文件
停止node01服务器上面local模式下的两个进程，然后修改node01服务器配置文件
node01服务器更改flink-conf.yaml配置文件文件
node01服务器执行以下命令更改flink配置文件

cd /kkb/install/flink-1.8.1/conf/
vim flink-conf.yaml

更改这个配置，指定jobmanager所在的服务器为node01
jobmanager.rpc.address: node01
node01服务器更改slaves配置文件
node01执行以下命令更改从节点slaves配置文件

cd /kkb/install/flink-1.8.1/conf
vim slaves

node01
node02
node03

第二步：安装包分发
将node01服务器的flink安装包分发到其他机器上面去
node01服务器执行以下命令分发安装包

cd /kkb/install
scp -r flink-1.8.1/ node02:$PWD
scp -r flink-1.8.1/ node03:$PWD

第三步：启动flink集群
node01执行以下命令启动flink集群

cd /kkb/install/flink-1.8.1
bin/start-cluster.sh

第四步：页面访问
http://node01:8081/#/overview

第五步：运行flink自带的测试用例
node01执行以下命令启动socket服务，输入单词

nc -lk 9000

node01启动flink的自带的单词统计程序，接受输入的socket数据并进行统计

cd /kkb/install/flink-1.8.1
bin/flink run examples/streaming/SocketWindowWordCount.jar   --hostname node01  --port 9000

node01服务器执行以下命令查看统计结果

cd /kkb/install/flink-1.8.1/log
tail -200f flink-hadoop-taskexecutor-0-node01.kaikeba.com.out

3、Flink的standAlone模式的HA环境

在上一节当中，我们实现了flink的standAlone模式的环境安装，并且能够正常提交任务到集群上面去，我们的主节点是jobManager，但是唯一的问题是jobmanager是单节点的，必然会有单节点故障问题的产生，所以我们也可以在standAlone模式下，借助于zk，将我们的jobManager实现成为高可用的模式。

首先停止Flink的standAlone模式，并启动zk和hadoop集群服务

第一步：修改配置文件
node01执行以下命令修改Flink的配置文件
node01修改flink-conf.yaml配置文件

cd /kkb/install/flink-1.8.1/conf
vim flink-conf.yaml

jobmanager.rpc.address: node01
high-availability: zookeeper
high-availability.storageDir: hdfs://node01:8020/flink
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181

node01修改masters配置文件
node01执行以下命令修改master配置文件
cd /kkb/install/flink-1.8.1/conf

vim masters

node01:8081
node02:8081

node01修改slaves配置文件
node01执行以下命令修改slaves配置文件

cd /kkb/install/flink-1.8.1/conf
vim slaves

node01
node02
node03

第二步：hdfs上面创建flink对应的文件夹
node01执行以下命令，在hdfs上面创建文件夹

hdfs dfs -mkdir -p /flink

第三步：拷贝配置文件
将node01服务器修改后的配置文件拷贝到其他服务器上面去
node01执行以下命令拷贝配置文件

cd /kkb/install/flink-1.8.1/conf
scp flink-conf.yaml  masters  slaves  node02:$PWD
scp flink-conf.yaml  masters  slaves  node03:$PWD

第四步：启动flink集群
node01执行以下命令启动flink集群

cd /kkb/install/flink-1.8.1
bin/start-cluster.sh

第五步：页面访问
访问node01服务器的web界面
http://node01:8081/#/overview
访问node02服务器的web界面

注意：一旦访问node02的web界面，会发现我们的web界面会自动跳转到node01的web界面上，因为此时，我们的node01服务器才是真正的active状态的节点

第六步：模拟故障宕机实现自动切换
将node01服务器的jobManager进程杀死，然后过一段时间之后查看node02的jobManager是否能够访问
注意： JobManager发生切换时，TaskManager也会跟着发生重启，这其实是一个隐患问题
第七步：flink的standAlone模式在HA下提交任务
在HA这种模式下，提交任务与standAlone单节点模式提交任务是一样的，即使JobManager服务器宕机了也没有关系，会自动进行切换
node01执行以下命令启动socket服务，输入单词

nc -lk 9000

node01启动flink的自带的单词统计程序，接受输入的socket数据并进行统计

cd /kkb/install/flink-1.8.1
bin/flink run examples/streaming/SocketWindowWordCount.jar   --hostname node01  --port 9000

node01服务器执行以下命令查看统计结果

cd /kkb/install/flink-1.8.1/log
tail -200f flink-hadoop-taskexecutor-0-node01.kaikeba.com.out

4、flink on yarn模式

flink的任务也可以运行在yarn上面，将flnk的任务提交到yarn平台，通过yarn来实现任务的资源调度管理，方便我们管理集群当中的CPU和内存等资源。
依赖环境说明：
至少hadoop2.2版本及以上
hdfs以及yarn服务正常启动

flink on yarn又分为两种模式：

1、第一种模式：单个yarn session模式

这种方式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个作业才会正常提交，实际工作当中一般不会使用这种模式。

这种模式，不需要做任何配置，直接将任务提交到yarn集群上面去，我们需要提前启动hdfs以及yarn集群即可。

第一步：修改yarn-site.xml配置为文件
node01执行以下命令修改yarn-site.xml，添加以下配置属性

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim yarn-site.xml

<property>
<name>yarn.resourcemanager.am.max-attemptsname>
<value>4value>
<description>
The maximum number of application master execution attempts.
description>
property>

然后将修改后的配置文件拷贝到node02与node03服务器
node01执行以下命令进行拷贝配置文件

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
scp yarn-site.xml  node02:$PWD
scp yarn-site.xml  node03:$PWD

然后重新启动yarn集群即可

第二步：修改flink配置文件
node01执行以下命令更改flink配置文件

cd /kkb/install/flink-1.8.1/conf
vim flink-conf.yaml

high-availability: zookeeper
high-availability.storageDir: hdfs://node01:8020/flink_yarn_ha
high-availability.zookeeper.path.root: /flink-yarn
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
yarn.application-attempts: 10

hdfs上面创建文件夹
node01执行以下命令创建hdfs文件夹

hdfs dfs -mkdir -p /flink_yarn_ha

第三步：在yarn当中启动flink集群
直接在node01执行以下命令，在yarn当中启动一个全新的flink集群，可以直接使用yarn-session.sh这个脚本来进行启动

cd /kkb/install/flink-1.8.1/
bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]

我们也可以使用 --help 来查看更多参数设置

bin/yarn-session.sh –help

注意：如果在启动的时候，yarn的内存太小，可能会报以下错误

Diagnostics: Container [] is running beyond virtual memory limits. Current usage: 250.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing containerpid=6386,containerID=container_1521277661809_0006_01_000001

我们需要修改yarn-site.xml添加以下配置，然后重启yarn即可

<property>  
    <name>yarn.nodemanager.vmem-check-enabledname>  
    <value>falsevalue>  
property>  

第四步：查看yarn管理界面8088
访问yarn的8088管理界面，发现yarn当中有一个应用
http://node01:8088/cluster
yarn当中会存在一个常驻的application，就是为我们flink单独启动的一个session

第五步：提交任务
使用flink自带的jar包，实现单词计数统计功能
node01准备文件并上传hdfs

cd /kkb
vim wordcount.txt

内容如下

hello world
flink hadoop
hive spark

hdfs上面创建文件夹并上传文件

hdfs dfs -mkdir -p /flink_input
hdfs dfs -put wordcount.txt  /flink_input

node01执行以下命令，提交任务到flink集群

cd /kkb/install/flink-1.8.1
bin/flink run ./examples/batch/WordCount.jar -input hdfs://node01:8020/flink_input -output hdfs://node01:8020/flink_output/wordcount-result.txt 

第六步：验证Yarn Session的高可用
通过node01:8088这个界面，查看yarn session启动在哪一台机器上，然后杀死yarn session进程，我们会发现yarn session会重新启动在另外一台机器上面
找到YarnSessionClusterEntrypoint所在的服务器，然后杀死该进程

[hadoop@node02 ~]$ jps
10065 QuorumPeerMain
10547 YarnSessionClusterEntrypoint
10134 DataNode
10234 NodeManager
10652 Jps
[hadoop@node02 ~]$ kill -9 10547

杀死YarnSessionClusterEntrypoint进程之后，会发现，yarn集群会重新启动一个YarnSessionClusterEntrypoint进程在其他机器上面

2、第二种模式：多个yarn session模式

这种方式的好处是一个任务会对应一个job，即每提交一个作业会根据自身的情况，向yarn申请资源，直到作业执行完成，并不会影响下一个作业的正常运行，除非是yarn上面没有任何资源的情况下。

注意：client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_HOME环境变量，通过这个环境变量来读取YARN和HDFS的配置信息，否则启动会失败。

不需要在yarn当中启动任何集群，直接提交任务即可

第一步：直接执行命令提交任务

cd /kkb/install/flink-1.8.1/
bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar -input hdfs://node01:8020/flink_input -output hdfs://node01:8020/out_result/out_count.txt

第二步：查看输出结果

hdfs执行以下命令查看输出结果

hdfs dfs -text hdfs://node01:8020/out_result/out_count.txt

第三步：查看flink run帮助文档
我们可以使用–help 来查看帮助文档可以添加哪些参数

cd /kkb/install/flink-1.8.1/     
bin/flink run --help

2.3、flink run脚本分析

我们提交flink任务的时候，可以加以下这些参数

1、本地提交

bin/flink run ./examples/batch/WordCount.jar  -input hdfs://hostname:port/hello.txt  -output hdfs://hostname:port/result1

本地指定host提交

bin/flink run -m node01:8081  ./examples/batch/WordCount.jar  -input hdfs://hostname:port/hello.txt  -output hdfs://hostname:port/result1

flink run [OPTIONS] <jar-file> <arguments>  
 "run" 操作参数:  
-c,--class <classname>  如果没有在jar包中指定入口类，则需要在这里通过这个参数指定  
-m,--jobmanager <host:port>  指定需要连接的jobmanager(主节点)地址，使用这个参数可以指定一个不同于配置文件中的jobmanager  
-p,--parallelism <parallelism>   指定程序的并行度。可以覆盖配置文件中的默认值。

2、yarn提交

第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】

启动一个一直运行的flink集群

/bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]

把任务附着到一个已存在的flink yarn session

./bin/yarn-session.sh -id application_1463870264508_0029

•执行任务

./bin/flink run ./examples/batch/WordCount.jar -input hdfs://hadoop100:9000/LICENSE -output hdfs://hadoop100:9000/wordcount-result.txt 

停止任务 【web界面或者命令行执行cancel命令】

第二种【flink run -m yarn-cluster(开辟资源+提交任务)】

•启动集群，执行任务

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar

注意：client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_HOME环境变量，通过这个环境变量来读取YARN和HDFS的配置信息，否则启动会失败

用法:  
   必选  
     -n,--container <arg>   分配多少个yarn容器 (=taskmanager的数量)  
   可选  
     -D <arg>                        动态属性  
     -d,--detached                   独立运行  
     -jm,--jobManagerMemory <arg>    JobManager的内存 [in MB]  
     -nm,--name                     在YARN上为一个自定义的应用设置一个名字  
     -q,--query                      显示yarn中可用的资源 (内存, cpu核数)  
     -qu,--queue <arg>               指定YARN队列.  
     -s,--slots <arg>                每个TaskManager使用的slots数量  
     -tm,--taskManagerMemory <arg>   每个TaskManager的内存 [in MB]  
     -z,--zookeeperNamespace <arg>   针对HA模式在zookeeper上创建NameSpace 
     -id,--applicationId <yarnAppId>        YARN集群上的任务id，附着到一个后台运行的yarn session中

默认查找当前yarn集群中已有的yarn-session信息中的jobmanager【/tmp/.yarn-properties-root】：
./bin/flink run ./examples/batch/WordCount.jar -input
hdfs://hostname:port/hello.txt -output hdfs://hostname:port/result1