Flink简介及部署模式

文章目录

  • 1、Flink简介
  • 2、Flink部署
    • 2.1 本地模式
    • 2.1 Standalone模式部署
    • 2.2 Standalone模式下的高可用
    • 2.3 Yarn模式
      • Yarn模式的高可用配置:
      • yarn模式中三种子模式的区别:
  • 3、并行度
  • 4、提交命令执行指定任务
    • Application Mode VS yarn per-job
  • 5、注意事项
  • 5、注意事项

1、Flink简介

​ Spark 和 Flink 一开始都都希望能够用同一个技术把流处理和批处理统一起来,但他们走了完全不一样的两条路。前者是以批处理的技术为根本,并尝试在批处理之上支持流计算;后者则认为流计算技术是最基本的,在流计算的基础之上支持批处理。通过Flink和Spark的对比来说:

Spark Flink
流批世界观 一切都是由批次组成。离线数据是一个大批次;而实时数据是由一个一个无限的小批次组成的。 一切都是由流组成。离线数据是有界限的流;实时数据是一个没有界限的流。
计算模型 微批处理模型(秒级),在批处理的基础上做流处理 连续流模型(毫秒级),在流的基础上做批处理
驱动 时间驱动型:主动拉取数据,(即使没有数据,到达一定时间,也会去计算,浪费资源) 事件驱动型:被动拉取数据,(如果没数据的时候什么也不干,节省资源)
checkpoint 小文件问题,一个分区一个小文件;重启任务会有很多小任务,浪费资源 无小文件问题
exactly once 自己实现 exactly once保证
窗口 灵活的窗口语义,Spark有的都有
吞吐量 大于Flink

Flink简介及部署模式_第1张图片

2、Flink部署

  • 开发模式(idea)
  • 本地模式(零配置)
  • Standalone模式
  • Yarn模式
    • Session-Cluster
    • Application Mode
    • Per-Job-Cluster

2.1 本地模式

  1. 上传Flink安装包flink-1.13.1-bin-scala_2.12.tgz到节点zyn-node01

  2. 解压

    tar -zxvf flink-1.13.1-bin-scala_2.12.tgz -C /opt/module
    cd /opt/module
    cp -r flink-1.13.1 flink-local
    
  3. 启动Flink集群

    bin/start-cluster.sh
    bin/stop-cluster.sh
    
  4. 在hadoop102启动netcat

    #sudo yum install -y nc
    nc -lk 9999
    
  5. 命令行提交Flink命令

    bin/flink run -m zyn-node01:8081 -c com.sunmi.day01.Flink03_Stream_Unbounded_WordCount /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar
    
  6. 查看应用执行情况

    http://zyn-node01:8081
    

Flink简介及部署模式_第2张图片Flink简介及部署模式_第3张图片

Flink简介及部署模式_第4张图片

2.1 Standalone模式部署

  1. 配置文件flink-conf.yaml

    jobmanager.rpc.address: zyn-node01
    
  2. workers、

    zyn-node02
    zyn-node03
    zyn-node04
    zyn-node05
    zyn-node06
    
  3. 分发至其他节点

  4. 启动集群

    bin/start-cluster.sh
    
  5. 提交命令执行任务

    bin/flink run -m zyn-node01:8081 -c com.sunmi.day01.Flink03_Stream_Unbounded_WordCount /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar 
    
  6. 通过8081端口访问WebUI

一台节点可以同时启动多个TaskManager

启动集群后,再次启动bin/start-cluster.sh,则一台节点会有两个TaskManager,可通过jps查看

2.2 Standalone模式下的高可用

​ 任何时候都有一个主 JobManager和多个备用 JobManagers,以便在主节点失败时有备用 JobManagers 来接管集群。这可以避免单点故障,一旦备 JobManager 接管集群,作业就可以正常运行。主备 JobManager 实例之间没有明显的区别。每个 JobManager都可以充当主备节点。

  1. 修改配置文件flink-conf.yaml

    high-availability: zookeeper
    high-availability.storageDir: hdfs://hadoop102:8020/flink/standalone/ha
    high-availability.zookeeper.quorum: hadoop102:2181,hadoop103:2181,hadoop104:2181
    high-availability.zookeeper.path.root: /flink-standalone
    high-availability.cluster-id: /cluster_hpu
    
  2. masters

    hadoop102:8081
    hadoop103:8081
    
  3. 分发至其他节点

  4. 修改环境变量myenv.sh,并分发source

    export HADOOP_CLASSPATH=`hadoop classpath`
    
  5. 启动flink集群

  6. 先查看通过zookeeper客户端查看哪个是master,然后kill掉master进行测试

    zkCli.sh
    get /flink-standalone/cluster_hpu/leader/rest_server_lock
    

2.3 Yarn模式

独立部署(Standalone)模式由Flink自身提供计算资源,无需其他框架提供资源,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但是Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成更靠谱,所以接下来我们来学习在强大的Yarn环境中Flink是如何使用的。

把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上.Flink会根据运行在JobManager上的job的需要的slot的数量动态的分配TaskManager资源。

  1. 复制flink-yarn

    cp -r flink-1.13.1 flink-yarn
    
  2. 仅需配置/etc/profile.d/my.sh中配置并分发

    export HADOOP_CLASSPATH=`hadoop classpath`
    
  3. 执行命令提交任务

    bin/flink run -t yarn-per-job -c com.sunmi.day01.Flink03_Stream_Unbounded_WordCount /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar
    
  4. 通过zyn-node03:8088查看任务

Flink简介及部署模式_第5张图片

  1. 进入任务

Flink简介及部署模式_第6张图片

  1. Yarn中启动两个Container,其中一个是JobManager一个TaskManager

    Flink简介及部署模式_第7张图片

Yarn模式的高可用配置:

Standalone模式中, 同时启动多个Jobmanager, 一个为leader其他为standby的, 当leader挂了, 其他的才会有一个成为leader。

yarn的高可用是同时只启动一个Jobmanager, 当这个Jobmanager挂了之后, yarn会再次启动一个, 其实是利用的yarn的重试次数来实现的高可用。

  1. yarn-site.xml

    <property>
      <name>yarn.resourcemanager.am.max-attemptsname>
      <value>4value>
      <description>
        The maximum number of application master execution attempts.
      description>
    property>
    
  2. flink-conf.yaml

    yarn.application-attempts: 3
    high-availability: zookeeper
    high-availability.storageDir: hdfs://hadoop102:8020/flink/yarn/ha
    high-availability.zookeeper.quorum: hadoop102:2181,hadoop103:2181,hadoop104:2181
    high-availability.zookeeper.path.root: /flink-yarn
    
  3. 启动yarn-session

  4. 杀死Jobmanager,查看复活情况

注意: yarn-site.xml中是复活次数的上限, flink-conf.xml中的次数应该小于这个值。

测试过程中会发现一直kill不掉jobManager,是因为除了重试次数这个机制外,还有一个时间的机制(Akka超时时间),如果在一定的时间(这个时间很短)内jobManager重新拉取了几次还是挂掉的话,那就会真正的挂掉。

yarn模式中三种子模式的区别:

  • Session模式:适合需要频繁提交的多个小job,并且执行时间都不长,因为flink会在yarn中启动一个session集群,这个集群主要用来申请资源的,后续提交的其他作业,都会直接提交到这个session集群中,不需要频繁创建flink集群,这样效率会变高,但是,作业之间相互不隔离。

    Session-Cluster模式需要先启动Flink集群,向Yarn申请资源。以后提交任务都向这里提交。这个Flink集群会常驻在yarn集群中,除非手动停止。在向Flink集群提交Job的时候, 如果资源被用完了,则新的Job不能正常提交。

    缺点: 如果提交的作业中有长时间执行的大作业, 占用了该Flink集群的所有资源, 则后续无法提交新的job.

    Flink简介及部署模式_第8张图片

  • per-job模式:一个Job会对应一个Flink集群,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享Dispatcher和ResourceManager,按需接受资源申请;适合规模大长时间运行的作业。==每次提交job都会创建一个新的flink集群,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。==同时main方法是在本地上运行。

    Flink简介及部署模式_第9张图片

  • application Mode模式

    每提交一个任务(application)可能会包含多个job,一个application对应一个flink集群,main方法是在集群中运行。

    Application Mode会在Yarn上启动集群, 应用jar包的main函数(用户类的main函数)将会在JobManager上执行. 只要应用程序执行结束, Flink集群会马上被关闭。也可以手动停止集群。

    与Per-Job-Cluster的区别:就是Application Mode下, 用户的main函数式在集群中执行的,并且当一个application中有多个job的话,per-job模式则是一个job对应一个yarn中的application,而ApplicationMode则这个application中对应多个job。

    application Mode模式存在bug不使用。

    bug:每个job的id都为0000000,而checkpoint依赖于id命名在hdfs集群上进行存储。这将导致错误发生。

3、并行度

  • 并行度优先级:

    算子指定>env全局指定>提交参数>配置文件

  • slot个数与并行度的关系

    默认情况下,slot个数等于流程序的并行度(程序中最大算子的并行度)
    在有多个共享组时,slot个数等于每个共享组中最大算子并行的和

4、提交命令执行指定任务

flink提交任务脚本参数:
flink 类似于spark-submit用于提交作业
run 用来执行作业(除了applicationMode模式不需要)
run-application (applicaitonMode模式执行作业的命令)
-t yarn模式中指定以yarn哪种模式运行的参数
-d 后台提交(断开与客户端的连接)
-m 指定JobManager以及UI端口
-D 指定其他参数。比如多队列提交参数(-Dyarn.application.queue=hive)
-c 指定全类名

举例:

  • 本地模式

    bin/flink run -m hadoop102:8081 -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    
  • standalone模式

    bin/flink run -m hadoop102:8081 -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    
  • yarn模式

    per-job:

    bin/flink run -d -t yarn-per-job -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    

    提交任务到Yarn的其他队列

    bin/flink run -d -m yarn-cluster -yqu hive -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar(老版本)
    
    bin/flink run -d -t yarn-per-job -Dyarn.application.queue=hive -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    

    session-cluster:

    1. 启动一个Flink-session
    2. 在Session上运行Job
    bin/yarn-session.sh -d 
    
    bin/flink run -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    
    bin/flink run -t yarn-session -Dyarn.application.id=application_XXXX_YY -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    

    如果是1.12版本开启了Yarn模式的高可用,上面指定yarn-session集群的命令不能用,需要去掉 -t yarn-session (1.13版本已修复)如果存在多个session集群可以指定application进行提交到指定session集群中。

    bin/flink run -Dyarn.application.id=application_XXXX_YY -c com.hpu.flink.java.chapter_2.Flink03_WC_UnBoundedStream ./flink-prepare-1.0-SNAPSHOT.jar
    

    在session中提交一个任务,此时session对应的flink集群在yarn上的任务为2个container,其中一个为JobManager一个为TaskManager。

    bin/yarn-session.sh -d 
    

    在这里插入图片描述

    启动以后会有一个container,为JobManager

    Flink简介及部署模式_第10张图片

    bin/flink run -c com.sunmi.day01.Flink03_Stream_Unbounded_WordCount /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar
    

    在这里插入图片描述

    提交一个任务后增加一个container,为TaskManager

    Flink简介及部署模式_第11张图片

    bin/flink run -c com.sunmi.day01.Flink03_Stream_Unbounded_WordCount /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar
    

    再提交一个会再增加一个container,存放对应的TaskManager

    flink默认配置:conf/flink-conf.yaml,决定任务内存大小以及所需的slot个数。

    Flink简介及部署模式_第12张图片

    application mode:

    bin/flink run-application -t yarn-application -c com.sunmi.day01.Flink03_Stream_Unbounded_WordCount /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar
    

Application Mode VS yarn per-job

分别使用Application Mode、yarn per-job两种方式提交任务,观察application情况。

package com.sunmi.day01;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Flink04_Test_PerJob_ApplicationMode {

        public static void main(String[] args) throws Exception {
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
            test1(env);
            test2(env);
            test3(env);
        }

        public static void test1(StreamExecutionEnvironment env) throws Exception {

            DataStreamSource stringDataStreamSource = env.fromElements("22222");
            stringDataStreamSource.map(new MapFunction() {
                @Override
                public String map(String value) throws Exception {
                    return value;
                }
            }).print();
            env.execute();
        }

        public static void test2(StreamExecutionEnvironment env) throws Exception {
            DataStreamSource stringDataStreamSource = env.fromElements("22222");
            stringDataStreamSource.map(new MapFunction() {
                @Override
                public String map(String value) throws Exception {
                    return value;
                }
            }).print();
            env.execute();
        }

        public static void test3(StreamExecutionEnvironment env) throws Exception {
            DataStreamSource stringDataStreamSource = env.socketTextStream("zyn-node01", 9999);
            stringDataStreamSource.map(new MapFunction() {
                @Override
                public String map(String value) throws Exception {
                    return value;
                }
            }).print();
            env.execute();
        }
}

application mode:

bin/flink run-application -t yarn-application -c com.sunmi.day01.Flink04_Test_PerJob_ApplicationMode /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar

在这里插入图片描述

仅存在一个application。

per-job:

bin/flink run -d -t yarn-per-job -Dyarn.application.queue=hive -c com.sunmi.day01.Flink04_Test_PerJob_ApplicationMode /home/hadoop/jars/Flink-202307-1.0-SNAPSHOT-jar-with-dependencies.jar

Flink简介及部署模式_第13张图片

3个job生成3个application。

停止任务的三种方式

  1. 通过 flink cancel jobid

  2. 在yarn网页端kill对应application

  3. 在flink网页端cancel

    进入flink网页端有两种方式

    • 通过提交任务时生成的链接进入

      Flink简介及部署模式_第14张图片

    • 通过yarn对应application的applicationMaster代理进入

      Flink简介及部署模式_第15张图片

5、注意事项

在java语法的flink编程中调用一个方法,有以下三种实现方式

  1. 自定义一个类实现接口 √
  2. 写接口的匿名实现类 √
  3. 写Lambda表达式

注意:在写Lambda表达式的时候,可能会因为类型擦除的原因报错,解决方式如下
在方法的最后调用.returns(Types.类型)解决
比如:
SingleOutputStreamOperator> wordToOneDStream = wordDStream.map(value -> Tuple2.of(value, 1)).returns(Types.TUPLE(Types.STRING,Types.INT));

外链图片转存中…(img-f84HwYXQ-1689861444196)]

  • 通过yarn对应application的applicationMaster代理进入

    [外链图片转存中…(img-AKY0p7au-1689861444196)]

5、注意事项

在java语法的flink编程中调用一个方法,有以下三种实现方式

  1. 自定义一个类实现接口 √
  2. 写接口的匿名实现类 √
  3. 写Lambda表达式

注意:在写Lambda表达式的时候,可能会因为类型擦除的原因报错,解决方式如下
在方法的最后调用.returns(Types.类型)解决
比如:
SingleOutputStreamOperator> wordToOneDStream = wordDStream.map(value -> Tuple2.of(value, 1)).returns(Types.TUPLE(Types.STRING,Types.INT));

你可能感兴趣的:(flink,大数据,实时计算)