【Flink实战系列】Flink如何提交任务到远程的集群

Flink可以直接从本地提交任务到远程的集群,这样就不用每次打包上传到集群然后再启动任务,会减少很多时间,下面就来看看具体是怎么实现的? spark在本地提交到远程的yarn集群上可以看这篇文章  https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg

Flink提供了远程提交的环境createRemoteEnvironment方法, 下面看一下这个方法的源码

def createRemoteEnvironment(
    host: String,
    port: Int,
    parallelism: Int,
    jarFiles: String*): StreamExecutionEnvironment = {

  val javaEnv = JavaEnv.createRemoteEnvironment(host, port, jarFiles: _*)
  javaEnv.setParallelism(parallelism)
  new StreamExecutionEnvironment(javaEnv)
}

可以看到这个方法一共需要4个参数

host: jobmanager的ip地址

port: jobmanager的端口号

parallelism: 任务的并行度

jarFiles: 任务的jar包,可以有多个

具体的代码实现

package flink.streaming

import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}