用maven编译spark2.1.0

以下编译都是在root用户下执行的命令

1.安装Maven 3.3.9和Java 7+ ,这里是官方文档中要求的maven和jdk版本，其他版本未测;


 2.执行   export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 

3.切换到spark2.1.0解压后的源码根目录下
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Dscala-2.11 -Phive -Phive -thriftserver -DskipTests clean package

这里的选择scala-2.11,用2.10编译报错

4切换到编译完的dev目录下执行下面命令打包

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn

转载于:https://www.cnblogs.com/zyzloner/p/6599158.html