Spark 3.3源码 IDEA阅读环境搭建

1、下载源码

https://spark.apache.org/downloads.html

2、导入maven中相关依赖

建议Idea中设置成自己的Maven，配置为国内maven仓库地址，这样下载依赖快，且完整，保证依赖全部下载完成。

maven的settings.xml添加如下2个仓库地址：

  <mirrors>
    
	<mirror>
	  <id>aliyunmavenid>
	  <mirrorOf>*mirrorOf>
	  <name>阿里云公共仓库name>
	  <url>https://maven.aliyun.com/repository/publicurl>
	mirror>
	<mirror>
		<id>aliyunid>
		<mirrorOf>centralmirrorOf>
		<name>maven.aliyun.comname>
		<url>http://maven.aliyun.com/nexus/content/groups/public/url>
	mirror>
  mirrors>

3、修改相关配置

3.1、修改部分依赖的scope

通过Project Structure菜单进入

3.2、生成spark-version-info.properties

（0）进入源代码目录
（1）初始化为git仓库

git init

（2）执行生成文件命令

 build/spark-build-info core/target/extra-resources 3.3.0-SNAPSHOT

（3）检查文件是否生成

4、测试运行

4.1、配置Master运行

4.2、配置Worker运行

这里webui地址便是 上面master的地址