编译spark2.1.0

编译spark2.1.0

目标

• 得到spark-2.1.0-bin-2.6.0-cdh5.7.0

环境

• jdk
  • 1.8.0_65【1.7+】
• maven
  • Apache Maven 3.3.9【3.3.9版】
• spark
  • 2.1.0
  • 下载地址【http://spark.apache.org/downloads.html】
  • 选项选择

settings.xml文件

 

。。。

    
            nexus
            *,!cloudera
            http://repo1.maven.org/maven2/
    

。。。

pom.xml文件

 

。。。

    cloudera
    cloudera repository
    https://repository.cloudera.com/artifactory/cloudera-repos/
 
。。。

环境变量/etc/profile中添加【编译机器内存可能不够】

 

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

执行

1. 解压spark-2.1.0
   • tar -vxf spark-2.1.0.tgz
2. 执行脚本change-scala-version.sh 2.10【Scala版本是2.10 需要先执行如下的脚本】
   • sh spark-2.1.0/dev/change-scala-version.sh 2.10
3. 执行编译命令
   • sh spark-2.1.0/dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0
4. 等待编译完成【过程比较漫长】

编译过程可能非常长，遇到最后一个错误

• 错误提示
• 解决方案
  • 在spark下的pom.xml文件中添加依赖

     

    
        net.alchim31.maven
        scala-maven-plugin
        3.2.2