IntelliJ(IDEA)Spark源码阅读环境

  • IntelliJ(IDEA)Spark源码阅读环境
  • 依赖:IDEA(IntelliJ,前文已经安装),Scala(前文已经安装),SBT,GIT,Spark源码
  • 1.SBT安装
               1)官网下载压缩包 http://www.scala-sbt.org/download.html
               2)本地解压缩
                     $ tar -zxvf sbt.tar 
         3)配置环境变量
          sudo vim /etc/profile 
            添加:
                 # SBT Variables Start
                     export SBT_HOME=/Users/alina/ComputerScience/sbt
                     export PATH= ${SBT_HOME} /bin: $PATH
                     # SBT Variables End 
          使环境变量生效:
           $ source /etc/profile 
             验证sbt
           $ sbt -h
             运行sbt下载所需要的程序包:
           $ sbt           
  • 2.Git安装
               官网: http://git-scm.com/download/下载dmg文件,挂载后运行pkg文件,按照安装指示进行。
               在命令行执行$ which git
                显示git的路径即为安装成功。
  • 3.生成源码的.idea项目
               下载spark源码包,在spark根目录下执行 $ ./sbt/sbt gen-idea 生成.idea项目,久的话一个小时,看网速了
               遇到的问题:
               spark-1.4.1版源码,执行./sbt/sbt gen-idea报错
                IntelliJ(IDEA)Spark源码阅读环境_第1张图片
               解决:
               sbt-launch-0.13.7.jar应该有1.2M大小,如果没有,则该jar包没有下载成功

              手动下载 https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.7/sbt-launch.jar
               move到 sbt/ 内,重命名为sbt-launch-0.13.7.jar
               打开sbt-launch-lib.bash,注释掉在线下载jar包的代码47到68行
                IntelliJ(IDEA)Spark源码阅读环境_第2张图片

你可能感兴趣的:(spark)