IDEA 导入spark源码 及问题解决

软件准备

1.IDEA
2.maven
3.jdk
4.scala

下载源码

https://github.com/apache/spark.git
下载需要的版本，解压jar包

导入saprk源码

编译jar包

maven编译代码,选择根目录

出现的问题

1.scala代码不规范

error file=/iteblog/spark-1.3.1/streaming/src/main/scala/org/apache/spark/streaming/StreamingContext.scala
message=File line length exceeds 100 characters line=279
error file=/iteblog/spark-1.3.1/streaming/src/main/scala/org/apache/spark/streaming/StreamingContext.scala
message=File line length exceeds 100 characters line=612

上面错误是idea检测到scala的代码不规范，解决办法是取消掉scala代码规范检测,在根目录下的pom文件中，把如下变量处的true改为false

  <failOnViolation>false</failOnViolation>