Spark1.5 基于hadoop 2.5.0编译

安装jdk

安装scala 

第一步. 修改 spark-1.5.0目录下的pom.xml文件，匹配自己的软件版本，我的修改如下：

vi pom.xml  -- 修改如下相关软件的版本

<java.version>1.7</java.version>

<hadoop.version>2.5.0-cdh5.3.9</hadoop.version>

<maven.version>3.3.9</maven.version>

<scala.version>2.10.4</scala.version>
<scala.binary.version>2.10</scala.binary.version>


第二步. 尝试用maven编译Spark 

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

build/mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0-cdh5.3.9 -Dyarn.version=2.5.0-cdh5.3.9 -DskipTests  clean package 

第三步：

./make-distribution.sh --name cdh5.3.9  --tgz -Pyarn -Dhadoop.version=2.5.0-cdh5.3.9  -Phive -Phive-thriftserver