搞定Spark 源码单元测试

在Spark源码上添加了些代码,想做个单元测试,倒弄了半天,发现怎么着都会跑所有的单测,好浪费时间。

找了半天,解决方法:

mvn test -DwildcardSuites=org.apache.spark.io.CompressionCodecSuite -Dtest=nothing -DfailIfNoTests=false

当然,你可以把pom.xml中你不需要的Module先临时去掉,这样可以节约一部分编译依赖时间。


回头看上述方法还是有问题,参考:https://spark.apache.org/developer-tools.html,单个测试说的很明白,如下:

build/sbt
project core
testOnly org.apache.spark.scheduler.DAGSchedulerSuite

TODO: 同时在sql package下有着许多压测,可以尝试着测试下。

参考:

  1. https://stackoverflow.com/questions/32510133/how-to-run-only-a-single-scalatest-via-wildcardsuites-in-spark-when-including
  2. https://issues.apache.org/jira/browse/SPARK-4159
  3. https://spark.apache.org/docs/latest/building-spark.html#pyspark-tests-with-maven

你可能感兴趣的:(搞定Spark 源码单元测试)