cdh5.16 重新编译flink1.10

一.简介

Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化。

Flink 1.10 同时还标志着对 Blink[1] 的整合宣告完成，随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。

二.环境

jdk 1.8

scala 2.11

cdh 5.16.2

flink 1.10.0

maven 3.5

三.flink-shaded

源码

git clone https://github.com/apache/flink-shaded.git

切换依赖的版本分支

git checkout release-9.0

修改 flink-shaded 项目中的 pom.xml，添加 CDH maven 仓库，否则编译时找不到 CDH 相关的包。

<profile>
<id>vendor-reposid>
<activation>
<property>
<name>vendor-reposname>
property>
activation>

<repositories>

<repository>
<id>cloudera-releasesid>
<url>https://repository.cloudera.com/artifactory/cloudera-reposurl>
<releases>
<enabled>trueenabled>
releases>
<snapshots>
<enabled>falseenabled>
snapshots>
repository>
repositories>
profile>

mvn clean install -DskipTests-Drat.skip=true -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.16.2

四.flink

源码

wget https://codeload.github.com/apache/flink/tar.gz/release-1.10.0

可以修改 flink-runtime-web/pom.xml 文件，添加 nodeDownloadRoot 和 npmDownload

<plugin>
<groupId>com.github.eirslettgroupId>
<artifactId>frontend-maven-pluginartifactId>
<version>1.6version>
<executions>
<execution>
<id>install node and npmid>
<goals>
<goal>install-node-and-npmgoal>
goals>
<configuration>
<nodeDownloadRoot>https://registry.npm.taobao.org/dist/nodeDownloadRoot>
<npmDownloadRoot>https://registry.npmjs.org/npm/-/npmDownloadRoot>
<nodeVersion>v10.9.0nodeVersion>
configuration>
execution>
<execution>
<id>npm installid>
<goals>
<goal>npmgoal>
goals>
<configuration>
<arguments>ci --cache-max=0 --no-savearguments>
<environmentVariables>
<HUSKY_SKIP_INSTALL>trueHUSKY_SKIP_INSTALL>
environmentVariables>
configuration>
execution>
<execution>
<id>npm run buildid>
<goals>
<goal>npmgoal>
goals>
<configuration>
<arguments>run buildarguments>
configuration>
execution>
executions>
<configuration>
<workingDirectory>web-dashboardworkingDirectory>
configuration>
plugin>

Kafka Schema Registry相关maven库配置

 
    confluent
    confluent
    Nexus public mirror
    http://packages.confluent.io/maven/
  

删除flink中的以下test模块，防止编译出错

<module>flink-testsmodule>
<module>flink-end-to-end-testsmodule>
<module>flink-yarn-testsmodule>
<module>flink-fs-testsmodule>

编译

mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.16.2

五.测试

local模式

六.下载

链接：https://pan.baidu.com/s/1-FEve5Q44emlHFOnlV7cGg
提取码：9hy3