Spark的学习2-IDE

阅读更多
  当使用Maven构建好项目后,现在要开始学习Spark的设计及具体实现,就是源码了。
 
  在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。

下了一个ScalaIDE,它的Eclipse的Scala订制版(http://scala-ide.org/),把构建好的Spark maven项目导进去, 一直有错误,大概就是一些类找不到的错误,在工作区查了一下,都是一些.scala对应的类。我猜想可能的原因就是那些Scala文件没有正确被编译, 于是Google,最后有一个方案是把spark-assembly-1.1.0-hadoopXXX.jar添加进来(这个文件可以从Spark的预编译包里获取),试了一下,类找不到的问题就不见了,但是修改了一下scala文件,那个scala文件就显示一堆错误,无法编译了。搞了好久,无果。查了Google,说Scala语言太灵活,现在的IDE都不能很好的支持,说是IntelliJ Idea对Scala语言的支持要好点,所以果断换IntelliJ Idea试一下,现在的版本是13.1.

以前JBuilder时代,IntelliJ Idea就是其中的主要竞争者,不过以前试用了n次,每次都放弃。究其原因,可能有几个:
1. 操作习惯与JBuilder及Eclipse有很大的不同,总之不顺手,
2. 另外一个原因就是处理大的项目速度慢,完全没办法和JBuilder和Eclipse比。Eclipse虽然有时候也"发发脾气",但整体来说,还是比较好用的,不过现在的版本是又大又不好用。说远了,
3. 功能太过强大,这样也给用户带来太多的复杂性。

导入项目以后,还要添加Scala和SBT的支持,具体的方法是:
File -> Setttings -> Plugins -> Browse Repositories , 在查找框里输入Scala,找到Scala,点右边窗口的Install Plugin, 找到SBT,并安装它,这个是用来构建Scala的工具。

这样我们就大功告成了。因为没有使用过IntelliJ Idea,所以我要花一点时间用一下,同时Spark是用Scala写的,另外听说Scala的学习曲线很陡,所以要学习Spark源代码,学习Scala也是必不可少的了。后面我会两至三天写一篇关于Spark学习的文档,希望大家一起来学习,探讨。

IntelliJ Idea 关于Scala相关的参考:

http://confluence.jetbrains.com/display/IntelliJIDEA/Scala+Development

Scala Console 使用: .scala -> Ctrl + Shift + D  --> Ctrl + Enter执行

你可能感兴趣的:(Spark,BigData,scala,maven,ide)