Flink-1.9.1-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.9.1(todo)

参考文章：Flink-1.9.1-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.9.1

一、下载两个Tag包（已经修改好配置文件）
maven指向私服具体修改内容可以参考 Flink1.9系列-CDH版本源码编译篇
 
flink-shaded-7.0-src.tar.gz
flink-1.9.1-src.tar.gz

二、编译flink-shaded
flink-shaded-7.0-src.tar.gz
vim flink-shaded-7.0/pom.xml


   
       privateMaven
       http://10.88.202.21:8882/repository/maven-public/
   

 
在 flink-shaded-7.0/flink-shaded-hadoop-2-uber/pom.xml 中的 dependencyManagement 标签中添加如下依赖

    commons-cli
    commons-cli
    1.3.1

 
注意：这一步一定要添加，不然编译成功后，启动不了，并 .out 文件中抛出如下错误：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;
原因是项目打包后，依赖的 commons-cli 是1.2版本的，build 方法在该版本中不存在
进入目录mvn打包
 
mvn -T10C clean install -Dhadoop.version=3.0.0-cdh6.3.2
 

 
三、结束后编译flink1.9.1
flink-1.9.1-src.tar.gz
vim flink-1.9.1/pom.xml


   
       privateMaven
       http://10.88.202.21:8882/repository/maven-public/
   

vim flink-1.9.1/flink-yarn/pom.xml
在->下添加屏蔽插件

    org.apache.maven.plugins
    maven-compiler-plugin
    3.8.0
    
            ${java.version}
            ${java.version}
            
            true
            
            false
            
                     
                    -Xpkginfo:always
            
    

 
 
 
mvn -T10C clean package -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.3.2 -Dscala-2.11 -Pinclude-hadoop

 
四、编译flink1.9.1完成，打包
路径是：flink-1.9.1/flink-dist/target/flink-1.9.1-bin

注意：我们是基于scala2.11编译的，压缩包的名称必须是：flink-1.9.1-bin-scala_2.11.tgz
tar -czf flink-1.9.1-bin-scala_2.11.tgz flink-1.9.1

 
可以看下hadoop的依赖包也编译完成

1、解压 flink-parcel.tar.gz

 
 
2、将之前编译好的flink-1.9.1-bin-scala_2.11.tgz 放到跟目录中

 
 
3、修改配置文件flink-parcel.properties（此处我已经修改完毕）
 
4、修改build.sh（修改后的脚本，此处需要修改var/www/html路径，以及cdh的csd路径）

5、编译parcel
sh build.sh parcel

 
6、编译flink-on-yarn
sh build.sh csd_on_yarn

7、编译flink-standalone
sh build.sh csd_standalone

 
8、完成Flink-Parcel制作
查看路径文件

9、查看界面是否可以访问

我们再看看 manifest.json文件的内容

CDH界面安装注意事项
一、在Parcel中新增存储库URL
http://10.88.202.25/FLINK-1.9.1-poros

 
二、刷新后就可以看到Flink啦，此处我已经安装完成，只要三步走就可以。
下载->分配->激活

 
下载

分配
 

激活

 
 
三、添加Flink服务组件
此处我使用的是Standalone模式

 

此处注意，点右侧问号，我把有坑的地方都做了描述。

 
安装完成截图

 
任务跑起来的截图

 
 
如果帮到了你，欢迎打赏

 
下载地址：
链接：https://pan.baidu.com/s/1Udbt3t9ttrEfoTcNFi-OAw
提取码：3ozf
复制这段内容后打开百度网盘手机App，操作更方便哦