Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境

先贴2张最后成功的图(和以前不build直接导入源码到IDEA有很大不同)

Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第1张图片

Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第2张图片
###【预告:对Windows Subsystem for Linux感兴趣的,下方提供一篇好文。】
#总的说,就4步骤:(3不算)

  1. 下载源码,可以去官网也可以直接去GitHub,可以压缩包也可以源码(这里测试用的是压缩包)
  2. 解压
  3. 网友们都说,一定要科学上网【关于此说法我没去验证,反正我一直是“科学”的】
  4. 在解压后的根目录下执行:mvn -DskipTests clean package
  • 在将 Spark 工程导入 IDEA 之前,最好先 build 一遍 Spark。build会下载并编译很多jar。
  • 网上很多人直接使用SBT/MAVEN导入源代码,我那样操作之后,IDEA上显示的各种目录不是我预想中的那样(或者说经过比较,我看见经过更多操作的显示出来的更像是对的)。而且在本地执行命令行显然比IDE更“轻”,提示信息的详细程度也比IDE更“亲民”。
  • 于是有了下面一系列的折腾(其实假如一切顺利的话,我是不打算写这篇博客的)
  • Build Spark 的详细步骤参见构建Spark(中文)
  • 截图:Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第3张图片
  • 大概成功1/8时,遇见了以下的错误:
    Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:run (default) on project spark-core_2.11: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program “bash” (in directory “F:\sparksource\spark-2.2.0\core”): CreateProcess error=2, 系统找不到指定的文件。 [ERROR] around Ant part …… @ 4:27 in F:\sparksource\spark-2.2.0\core\target\antrun\build-main.xml
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第4张图片
  • 很明显,WINDOWS干的坏事。。。网上一搜,发现一个好东西Windows Subsystem for Linux。这个开发者工具已经是16年的事了,简单说就是可以在WINDOWS上执行Bash命令。!!!!!具体的操作,大家可以参考这篇文章,写的很详细。【提示:不用开启开发者模式
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第5张图片
  • Windows Subsystem for Linux安装成功后如图:【读取文件大小应该是有问题】
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第6张图片
  • 回到正题:再次执行mvn -DskipTests clean package,之前的报错解决,然后就是。。。对,更漫长的等待。。。【总之我这个机器是用了100分钟】
  • 成功后如图:【最终是8万多个文件,共700多M】
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第7张图片
  1. Maven工程导入到IDEA:
  • import project——》Maven——》next,出现下图,我勾选的如下
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第8张图片
  • 需要注意的是,这里并不是说要去下载这些文件。用 Maven 导入工程的另一个优点是,在 IDEA 的右边栏点击Maven Projects,(或者View > Tool Windows > Maven Projects)里可以很方便地调整 active profiles。可以关闭一些你用不上的 profile。这样一来,无关的 sub-project 就不会被激活,代码索引、依赖解析更快,内存占用也更低。如图1
  • 图1:Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第9张图片
  • 接下来咱就一路Next吧
  • 最终结果:
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第10张图片
  • 建议把documentation也下载了(当然,这也需要些时间)
  • 默认情况下,Ctrl+Q查看doc
    Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境_第11张图片

你可能感兴趣的:(Hadoop,Spark,Hbase...,Spark源码学习)