【Spark】Spark 编译调试

• 自动补全CLASSPATH 参数：
  export SPARK_PREPEND_CLASSES=1
  在编译完Spark源码后，通过设置该参数，可以自动加载Spark运行所需的classpath，这样就可以在源码包下直接跑local模式了。

• Spark源码远程调试参数：
  --driver-java-options "-Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,address=5005,server=y,suspend=y

• Spark手动编译命令：
  export MAVEN_OPTS="-Xms512m -Xmx3g -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=64m
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0.10 -Phive -Phive-thriftserver -DskipTests package

  一些参数：

  • -pl core： 单独编译core模块
  • deploy：发布至nexus
  • 跳过测试： -Dmaven.test.skip=true && -DskipTests
  • 修改代码scalastyle校验失败导致编译失败，进行下面设置：false