【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖

从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。
如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。
运行以下命令以flink-shaded针对所需的Hadoop版本(例如对于version 2.6.5-custom)进行构建和安装:
mvn clean install -Dhadoop.version=2.6.5-custom
完成此步骤后,将flink-shaded-hadoop-2-uber jar放入/libFlink分发目录中。

Flink1.11编译Hadoop2.7.2

      • 1. 下载/flink-shaded
      • 2. 解压至linux
      • 3. 进入flink-shaded-hadoop-2-parent,修改pom
      • 4. 进入flink-shaded-hadoop-2 修改pom
      • 5.进入flink-shaded-hadoop-2-uber 修改pom
      • 6. 返回进入flink-shaded-release-10.0下 修改pom
      • 7. 配置完毕,运行前提是需要linux配置maven
      • 8. 返回进入flink-shaded-release-10.0下 执行编译
      • 9. 找到jar 放入flinke1.11的lib下
      • 10. 完毕 我把我的jar链接放下面,需要帮到大家的给个赞顺便关注一下

1. 下载/flink-shaded

前往git 下载/flink-shaded 下载relese-10.0 因为10.0是包含hadoop-bin的,1.11 不包含hadoop
https://github.com/apache/flink-shaded.git

2. 解压至linux

在这里插入图片描述

3. 进入flink-shaded-hadoop-2-parent,修改pom

cd   /opt/module/flink-shaded-release-10.0/flink-shaded-hadoop-2-parent
vi pom.xml

改成自己的hadoop版本 然后保存退出
【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第1张图片

4. 进入flink-shaded-hadoop-2 修改pom

cd   flink-shaded-hadoop-2
vi pom.xml

将jar版本改为1.11 然后保存退出
【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第2张图片

5.进入flink-shaded-hadoop-2-uber 修改pom

cd flink-shaded-hadoop-2-uber/
vi pom.xml

将jar版本改为1.11 然后保存退出
如果没有这两个配置 请添加
【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第3张图片

    
            
                    org.apache.flink
                    flink-shaded-hadoop-2
                    ${hadoop.version}-11.0
            
            
                    commons-cli
                    commons-cli
                    1.3.1
            

    

6. 返回进入flink-shaded-release-10.0下 修改pom

这一步前面忘了修改 这里补上

cd flink-shaded-release-10.0/
vi pom.xml

【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第4张图片
这里其实也没啥 添加阿里云镜像就可以 快
【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第5张图片

     
        vendor-repos
        
            
                vendor-repos
            
           
               
            
                cloudera-releases
                https://maven.aliyun.com/repository/central
                
                    true
                
                
                    false
                
            
        
    

7. 配置完毕,运行前提是需要linux配置maven

如果你还没有配置maven,可以参考这篇文章
Linux下安装maven环境,并测试使用

如果你有配置maven 请继续下一步

8. 返回进入flink-shaded-release-10.0下 执行编译

       ```
                 mvn clean install -DskipTests -Dhadoop.version=2.7.2 -Drat.skip=true
       ```

全程没ERROR 就是成功
【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第6张图片

9. 找到jar 放入flinke1.11的lib下

cd flink-shaded-release-10.0/
vi pom.xml
cp flink-shaded-hadoop-2-uber-2.7.2-11.0.jar /opt/module/flink-1.11.1/lib/

【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第7张图片

10. 完毕 我把我的jar链接放下面,需要帮到大家的给个赞顺便关注一下

flink-shaded-hadoop-2-uber jar包

【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖_第8张图片

你可能感兴趣的:(#,flink,flink)