spark源码调试Debug环境搭建

运行环境

java 1.8

scala 2.11.0

maven 3.3.9

idea 2016

spark 2.0.2

1完成以下配置

java环境变量

scala环境变量

maven setting配置文件jar包存放路径

idea下载scala plugins语言插件

idea配置maven setting及jar包存放路径

spark git :https://github.com/apache/spark.git

2编译spark源码

进入目录$spark_home

配置maven内存大小，或者在maven配置文件中配置（$maven_home/bin/mvn）

exportMAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

打包spark源码

./build/mvn-Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

3 debug调试配置

1）加载所有jars

idea =>file => project structure=> libraries => add java =>$spark_home/assembly/target/scala-2.11/jars =>all project

2）debug配置

idea=>run =>run config =>

随着git代码更新到本地，打包代码与debug代码 不一致，把下面的 build 删除即可。

3）打断点

4）debug调试

下一篇简述下Spark 的基础算子RDD