Flink编译与安装

一直对流式计算心驰神往,flink似乎是一个神器,可惜那些文档写得太玄乎,一些概念性的东西,有一种似懂非懂的感觉所以决定实际操作一下

对于flink的状态,窗口,source,task的之类的概念,一直似懂非懂,眼过千遍不如手过一遍

抱着学习的心态从github上下载了flink

下载地址: https://github.com/apache/flink.git

分支 release-1.14

maven 版本 3.60

jdk 1.8

开发环境

IntelliJ IDEA 2021.2 (Ultimate Edition)
Build #IU-212.4746.92, built on July 27, 2021

阿里云镜像信息

   
      nexus-aliyun
      *,!jeecg,!jeecg-snapshots,!mapr-releases
      Nexus aliyun
      http://maven.aliyun.com/nexus/content/groups/public
   
   
      mapr-public
      mapr-releases
      mapr-releases
      https://maven.aliyun.com/repository/mapr-public
   

按照阿里的文档下载完之后,本来以为一个maven命令就搞定了,结果打包一直报错,浪费了好长时间,所以就在这里给大家排排雷

1. maven 命令: mvn clean install -DskipTests -Dfast

2. 需要先打包flink-core,这个打包没有问题

3. 下面是一个坑flink里面可能有依赖的问题,打包完core之后需要先打包flink-filesystems

否则一直打包失败

4. 删除测试类,这两个project下的测试类删了吧,老报错,反正没什么用

flink-avro-confluent-registry
flink-end-to-end-tests-common-kafka

5.发现阿里云的镜像上没有这几个jar的信息,需要手动下载

kafka-avro-serializer-5.5.2.jar

kafka-schema-registry-client-5.5.2.jar

mvn install:install-file -Dfile=jar包的位置 -DgroupId=上面的groupId -DartifactId=上面的artifactId -Dversion=上面的version -Dpackaging=jar

如果你用的不是阿里云镜像,可能没这个问题

6.建议还是按照我这个步骤来,打包一次起步半小时,很浪费时间

7. 不知道怎么上传官方的安装文档,如果有不对的地方,欢迎指正,本人更新很慢

8.耗时4个小时终于打包成功,希望对各位有用,主要还是编译过程实在太长了,起步半小时