maven 3.3.9编译spark1.5.0 cdh5.5.1

1、下载spark源码解压到目录/usr/local/ spark-1.5.0-cdh5.5.1，看看是否有pom.xml文件

2、切换到目录 /usr/local/ spark-1.5.0-cdh5.5.1执行：

编译spark源代码的时候，需要从网上下载依赖包，所以整个编译过程机器必须保证在联网状态。编译执行如下脚本：

[ hadoop@hadoop spark-1.5.0-cdh5.5.1]$ export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -X:ReservedCodeCacheSize=512m"

[ hadoop@hadoop spark-1.5.0-cdh5.5.1]$mvn -Pyarn -Dhadoop.version=2.5.0-cdh5.3.3  -Dscala-3.9.9 -Phive -Phive-thriftserver   -DskipTests clean package

编译报错解决方法：

vi  /usr/local/maven/conf/ settings.xml

添加红色部分：

    

      hadoop

      hadoop

      hadoop

      /home/hadoop/.ssh/id_rsa

      some_passphrase

      664

      775

      

    

  

vi  /usr/local/spark/ pom.xml

添加下面红色部分：

    core

    bagel

    graphx

    mllib

    tools

    network/common

    network/shuffle

    streaming

    sql/catalyst

    sql/core

    sql/hive

    unsafe

    assembly

    external/twitter

    external/flume

    external/flume-sink

    

    sql/hive-thriftserver

    external/mqtt

    external/mqtt-assembly

    external/zeromq

    examples

    repl

    launcher

    external/kafka

    

  

3、 生成 Spark 部署包:

./make-distribution.sh --name 2.5.0 --tgz --with-tachyon

在Spark源码根目录下有一个生成部署包的脚本make-distribution.sh，可以通过执行如下命令进行打包 ./make-distribution.sh [--name] [--tgz] [--with-tachyon]

l  --name NAME和--tgz 结合可以生成spark-$VERSION-bin-$NAME.tgz 的部署包，不加此参数时NAME 为hadoop 的版本号

l  --tgz在根目录下生成 spark-$VERSION-bin.tgz ，不加此参数时不生成tgz 文件，只生成/dist 目录

l  --with-tachyon  是否支持内存文件系统Tachyon ，不加此参数时不支持tachyon