开发Spark1.5.2 Application | 编译Spark源码

作为workaround,把spark根目录下的pom.xml文件中的以下部分注释掉:

<repository>

  <id>twttr-repo</id>

  <name>Twttr Repository</name>

  <url>http://maven.twttr.com</url>

  <releases>

    <enabled>true</enabled>

  </releases>

  <snapshots>

    <enabled>false</enabled>

  </snapshots>

用hadoop version看看自己hadoop版本

build/mvn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package

再把spark-1.5.2/assembly/target/scala-2.10下的jar放进Eclipse

Maven要自己下最新的
Maven的源换成国内的

你可能感兴趣的:(spark)