IDEA本地启动Spark的Master和Worker

在Windows环境IDEA上解读Spark源码的时候,为了查看参数传递,总是连接服务器很麻烦。简单实现从本地启动Spark的Master和Worker,方便源码解读。

1. 添加Maven依赖

在spark-parent的pom.xml中添加guava依赖



    com.google.guava
    guava
    27.0.1-jre

IDEA本地启动Spark的Master和Worker_第1张图片

 

2. 启动Master

IDEA本地启动Spark的Master和Worker_第2张图片

 

3. 设置Application

新建一个Application,Main class搜索Worker,参数填入上面获取的spark://host:port

IDEA本地启动Spark的Master和Worker_第3张图片

 

4. 启动Worker

IDEA本地启动Spark的Master和Worker_第4张图片

 

 通过WebUI查看

Worker没有连接前

IDEA本地启动Spark的Master和Worker_第5张图片

Worker连接后

IDEA本地启动Spark的Master和Worker_第6张图片

你可能感兴趣的:(Spark)