通过源码构建Spark

看了好几天spark源码,今天突然想试一试如何把spark编译出来。
记录一下编译过程。
第一步,下载源码:
下载源码,考虑到墙的存在,没有直接使用spark提供的下载链接,我是从aliyun的镜像网站下载的,http://mirrors.aliyun.com/apache/spark/spark-1.6.1/spark-1.6.1.tgz 。
将下载好的源码解压:
tar -xf spark-1.6.1.tgz
第二步,编译:
使用spark提供的脚本进行编译:

cd spark-1.6.1
./make-distribution.sh --name custom-spark --tgz -Phadoop-2.4 -Pyarn

漫长的等待过程。
编译好了,会在当前目录产生一个文件spark-1.6.1-bin-custom-spark.tgz

通过源码构建Spark_第1张图片
屏幕快照 2016-03-27 下午10.47.15.png

第三步,运行:
解压编译出来的spark运行包:
tar -xf spark-1.6.1-bin-custom-spark.tgz
运行spark-shell

cd spark-1.6.1-bin-custom-spark
bin/spark-shell

运行效果图:


通过源码构建Spark_第2张图片
屏幕快照 2016-03-27 下午10.51.50.png

参考:
http://spark.apache.org/docs/latest/building-spark.html

你可能感兴趣的:(通过源码构建Spark)