Flink基础学习(二)

开发流程

1、获取execution environment

StreamExecutionEnvironment是所有流式flink程序的基础
Flink基础学习(二)_第1张图片

  • getExecutionEnvironment() 推荐
  • createLocalEnvironment()
  • createRemoteEnvironment(host:string, port: int, jarFiles: string)

2、加载/创建初始化数据

  • 基于文件
    readTextFile(path)
    readFile(fileInputFormat, path)
    readFile(fileInputFormat, path, watchType, interval, pathFilter)
  • 基于套接字
    socketTextStream
  • 基于集合
    fromCollection(Seq)
    fromCollection(Iterator)
    fromElements(elements:_*)
    fromParallelCollection(SplittableIterator)
    generateSequence(from, to)
  • 自定义数据源
    实现SourceFunction
    实现ParallelSourceFunction
    继承RichParallelSourceFunction

3、数据转换(各类算子)
Flink基础学习(二)_第2张图片
4、指定放置计算结果的位置
Flink基础学习(二)_第3张图片
5、触发程序执行
excute()

6、运行

你可能感兴趣的:(flink学习)