CDH整合Flink1.10(小白教程)

        Flink1.10一个划时代的版本，它标志着对 Blink[1] 的整合宣告完成。而且随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。

       众所周知，Apache Flink官网下载安装包不能支持CDH，需要编译后进行安装，参照网上很多资料，尝试了多天，终于成功，供大家参考。

一、环境准备

1、环境：Jdk 1.8、centos7.6、Maven 3.6.3和Scala-2.11

2、源码和CDH 版本：Flink 1.10.0 、 CDH 6.2.0(Hadoop 3.0.0)

注：mvn版本、CDH版本和scala版本无所谓，理论上可根据自己的版本自行更改。

二、安装包准备；

1、maven版本不要太低，我用的是maven 3.6.3：

        https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

2、不同的 Flink 版本使用的 Flink-shaded不同，1.10 版本使用 10.0：

        https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz

3、flink1.10.0tar包：

        https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0/flink-1.10.0-src.tgz

三、安装MAVEN并修改源：已安装maven的可跳过安装步骤，但要记得修改setting.xml

1、下载maven tar包,移动到安装目录(略过)。

2、解压tar

命令：tar -zxvf apache-maven-3.6.3-bin.tar.gz

3、配置环境变量(略过)

查看命令：mvn --version

4、修改setting.xml：

命令：vim apache-maven-3.6.3/conf/settings.xml

添加如下配置：

    
        alimaven
        central
        aliyun maven
        http://maven.aliyun.com/nexus/content/repositories/central/
    
    
        alimaven
        aliyun maven
        http://maven.aliyun.com/nexus/content/groups/public/
        central
    
    
        central
        Maven Repository Switchboard
        http://repo1.maven.org/maven2/
        central
    
    
        repo2
        central
        Human Readable Name for this Mirror.
        http://repo2.maven.org/maven2/
    
    
        ibiblio
        central
        Human Readable Name for this Mirror.
        http://mirrors.ibiblio.org/pub/mirrors/maven2/
    
    
        jboss-public-repository-group
        central
        JBoss Public Repository Group
        http://repository.jboss.org/nexus/content/groups/public
    
    
        google-maven-central
        Google Maven Central
        https://maven-central.storage.googleapis.com
        
        central
    

    
    
        maven.net.cn
        oneof the central mirrors in china
        http://maven.net.cn/content/groups/public/
        central
    

四、编译对应的flink-shaded 版本

1、解压tar包

命令：tar -zxvf flink-shaded-10.0-src.tgz

2、修改pom.xml

命令：vim flink-shaded-10.0/pom.xml

添加如下配置：

    vendor-repos
    
        
            vendor-repos
        
    

    
    
        
        
            cloudera-releases
            https://repository.cloudera.com/artifactory/cloudera-repos
            
                true
            
            
                false
            
        
        
        
            HDPReleases
            HDP Releases
            https://repo.hortonworks.com/content/repositories/releases/
            false
            true
        
        
            HortonworksJettyHadoop
            HDP Jetty
            https://repo.hortonworks.com/content/repositories/jetty-hadoop
            false
            true
        
        
        
            mapr-releases
            https://repository.mapr.com/maven/
            false
            true
        
    

3、编译：

命令1：cd flink-shaded-10.0/

命令2：mvn -T2C clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.2.0 -Dscala-2.11 -Drat.skip=true

注：hadoop版本，cdh版本，scala版本根据自己的集群情况自行修改。

五、编译flink1.10.0源码

1、解压tar包;

命令：tar -zxvf flink-1.10.0-src.tgz

2、编译

命令1：cd flink-1.10.0/

命令2：mvn clean install -DskipTests -Dfast -Drat.skip=true -Dhaoop.version=3.0.0-cdh6.2.0 -Pvendor-repos -Dinclude-hadoop -Dscala-2.11 -T2C

注：注意修改成自己对应的版本

3、提取出flink1.10.0对应的二进制包到安装目录

目录地址：flink-1.10.0/flink-dist/target/flink-1.10.0-bin

4、测试

命令：./bin/flink run -m yarn-cluster -ynm test_wordcount ./examples/batch/WordCount.jar --input hdfs://cluster_name/tmp/words.txt

注：注意在hdfs上添加测试的words.txt

 

备注：编译时间视情况而定，一般时间不会太短。理论上本方法适用于cdh6.x(6.0，6.1，6.2，6.3)的版本