spark-2.4.2-bin-2.6.0-cdh5.7.0源码编译

准备工作

    jdk-8u211-linux-x64.tar.gz

    spark-2.4.2.tgz

    apache-maven-3.6.1-bin.tar.gz

注：根据官方文档显示spark-2.4.2编译需要Java8、Maven-3.5.4及以上版本

 

配置环境

    解压jdk，并配置Java环境变量

    解压Maven，配置Maven环境变量    

 

编译准备

    

tar -zxvf  spark-2.4.2.tgz  #解压spark源码包
cd  spark-2.4.2.tgz    #进入spark源码包的根目录

   将spark源码包根目录中pom.xml文件打开

   将如下配置添加到标签中

    cloudera
    https://repository.cloudera.com/artifactory/cloudera-repos

  在spark根目录中执行以下命令    

./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn -Pkubernetes


# --name 2.6.0-cdh5.7.0 指定编译成功后安装包的名字，这里编译成功后是：spark-2.4.2-bin-2.6.0-cdh5.7.0.tgz
#--tgz  编译成功后打成一个tgz的包
#-Dhadoop.version=2.6.0-cdh5.7.0  指定hadoop的详细版本
#-Phadoop-2.6   指定spark支持的hadoop版本
#-Phive     支持hive
#-Phive-thriftserver 支持hive
#-Pyarn     启用yarm
#-Pkubernetes  支持kubernetes

等待编译成功后（编译时间较长），编译成功后在spark根目录下会出现一个 spark-2.4.2-bin-2.6.0-cdh5.7.0.tgz 的文件