IDEA本地执行&调试Spark Application方法

对于一些比较简单的application,我们可以在IDEA编码并直接以local的方式在IDEA运行。有两种方法:

在创建SparkContext对象时,指定以local方式执行,如下

val sc = new SparkContext("local", "app name")

修改执行配置,如下

IDEA本地执行&调试Spark Application方法_第1张图片

当然,运行的前提是将必要的jar包在Libraries中配置好,如图:


IDEA本地执行&调试Spark Application方法_第2张图片

如果你还想直接在IDEA中调试spark源码,按f7进入.class后,点击


IDEA本地执行&调试Spark Application方法_第3张图片

选择你在官网下载的与你的jar包版本一致的源码

IDEA本地执行&调试Spark Application方法_第4张图片

之后,你就可以任意debug了~


欢迎关注我的微信公众号:FunnyBigData

FunnyBigData

你可能感兴趣的:(IDEA本地执行&调试Spark Application方法)