Flink入门教程

        使用flink时需要提前准备好scala环境

一、创建maven项目

二、添加pom依赖

  
    2.11.12
  
 
   
      org.scala-lang
      scala-library
      ${scala.version}
    
 
    
      org.scala-lang
      scala-compiler
      ${scala.version}
    
 
    
      org.scala-lang
      scala-reflect
      ${scala.version}
    

      
      org.apache.commons
      commons-compress
      1.21
    
 
    
      org.apache.flink
      flink-scala_2.11
      1.14.0
    
 
    
      org.apache.flink
      flink-clients_2.11
      1.14.0
    

三、编码实现

      准备数据源test_flink.txt

河南 郑州
河南 信阳
郑州 金水区
河南 开封
郑州 管城区
信阳 浉河区
信阳 平桥区
开封 龙亭区

         编码实现

import org.apache.flink.api.scala._
import org.apache.flink.api.scala.ExecutionEnvironment
object FlinkWordCount {
  def main(args: Array[String]): Unit = {
    //创建执行环境
    val environment = ExecutionEnvironment.getExecutionEnvironment
    //读取文件
    val dataSet = environment.readTextFile("D:/workplace/java-item/res/file/test_flink.txt")
    //将读取的字符扁平化操作，并且按照空字符分割装入到元祖之中，按照元组的第一个元素分组,分组后按照元组的第二个值求和
    val aggregateDataSet = dataSet.flatMap(_.split(" ")).map((_, 1)).groupBy(0).sum(1)
    ///打印聚合数据
     aggregateDataSet.print()
  }
}