编译Spark源码,hadoop.version=2.6.0-cdh5.16.2

1>到官网上下载Spark源代码

编译Spark源码,hadoop.version=2.6.0-cdh5.16.2_第1张图片

2>进入到该目录下

3>修改该目录下的pom.xml,新增如下代码

   
      cloudera
      cloudera Repository
      https://repository.cloudera.com/artifactory/cloudera-repos
   

 

编译Spark源码,hadoop.version=2.6.0-cdh5.16.2_第2张图片

4>编译代码

./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.16.2 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes   

5>等待一段时间,第一次编译速度较慢,会在网上下载所需资源

编译Spark源码,hadoop.version=2.6.0-cdh5.16.2_第3张图片

6>解压即可 

你可能感兴趣的:(spark)