Flink-提交job

目录

一、Flink 流处理扩展及说明

二、Flink部署

三、Standalone模式

四、在命令行提交job：

五、在网页中提交flink job

---

一、Flink 流处理扩展及说明

涉及：自定义线程优先级

 =socket流中读取数据并行度只能是 1

1、特定的算子设定了并行度最优先

2、算子没有设定并行度就是用整体运行环境设置的并行度

3、环境的并行度没有设置就使用提交时候提交参数设置的并行度

4、都没有设置就遵循 flink的配置文件

增加：

1、自定义线程

2、从外部命令中提取参数 

package com.atguigu.wc

import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._

object StreamWordCount_02 {
  def main(args: Array[String]): Unit = {

    //创建流处理的执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    //env.setParallelism(8) //自定义线程，设置几就有几个线程

    //从外部命令中提取参数，作为socket主机名和端口号
    val paramTool:ParameterTool = ParameterTool.fromArgs(args)
    val host:String = paramTool.get("host")
    val port:Int    = paramTool.getInt("port")

    //接收一个socket文本流
    val inputDataStream:DataStream[String] = env.socketTextStream(host,port)

    //进行转化处理统计
    val resultDataStream:DataStream[(String,Int)] = inputDataStream
      .flatMap(_.split(" "))
      .filter(_.nonEmpty)
      .map((_,1))
      .keyBy(0)
      .sum(1)

    resultDataStream.print().setParallelism(1)  //自定义线程为1；所以线程是一致的，并行度

    //启动任务执行
    env.execute("stream wo