spark 源码阅读

1、IDEA 查看spark元源码

1、获取spark源码
url:https://github.com/apache/spark.git
登陆进去 如下图所示

image.png

点击clone 或者 下载下spark源码下来

2、导入
IDEA 以maven形式导入就可以了

3、将pom文件中的镜像换成阿里的镜像要快一些
构建spark源码的官网 http://spark.apache.org/docs/latest/building-spark.html

注意:spark 支持maven 和sbt 构建项目 我这里使用IDEA的 maven 来构建spark源码

参考资料:https://www.cnblogs.com/zlslch/p/5881893.html

2、报错

1、SqlBaseParser爆红

Error:(36, 45) object SqlBaseParser is not a member of package org.apache.spark.sql.catalyst.parser
import org.apache.spark.sql.catalyst.parser.SqlBaseParser._

idea不会自动下载部分catalyst相关的源文件，导致编译时不能通过。
解决办法

在Intellij IDEA里面：

• 打开View -> Tool Windows -> Maven Projects
• 右击Spark Project Catalyst
• 点击Generate Sources and Update Folders
  随后，Intellij IDEA会自动下载Catalyst相关的包