Spark Streaming 报错：NoSuchMethodError: scala.Predef$.ArrowAssoc

   最近在学习Spark ，做了一些练习，发现了一些问题。

   昨天在做Spark Streaming 的练习，编译打包项目时没有任何错误，但是运行时报错：

15/05/26 21:33:24 INFO cluster.SparkDeploySchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
	at stream.tan14.cn.streamTest$.main(streamTest.scala:25)
	at stream.tan14.cn.streamTest.main(streamTest.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

 而我代码中的25行为：

val topicpMap = Map("netflow" -> 2)

  上面的代码居然会有错！！太不可接受了，这让我一时不知所措了。

   通过Google 大神找到了一些线索，可以参考：http://stackoverflow.com/questions/25089852/what-is-the-reason-for-java-lang-nosuchmethoderror-scala-predef-arrowassoc-upo

    在上面的资料中的得知应该时Scala 不同版本在造成的，然后查找资料，得知Spark 1.2.1使用的Scala版本是2.10.4，此时我的SBT配置如下：

scalaVersion := "2.11.2"

libraryDependencies ++= Seq(
   "org.apache.spark" % "spark-core_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming-kafka_2.10" % "1.2.1"
)

     然后我将SBT的内容改成如下：

scalaVersion := "2.10.4"

libraryDependencies ++= Seq(
   "org.apache.spark" % "spark-core_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming_2.10" % "1.2.1",
   "org.apache.spark" % "spark-streaming-kafka_2.10" % "1.2.1",
   "org.scala-lang" % "scala-library" % "2.10.4",
   "org.scala-lang" % "scala-reflect" % "2.10.4",
   "org.scala-lang" % "scala-compiler" % "2.10.4",
   "org.scala-lang" % "scalap" % "2.10.4"
)

    接着，在File ->Project Structure ->Artifacts ->Output Layout中将Scala 对应的包的版本2.10.4 或者 直接将原来Artifacts 中对应的项目删掉，重新从Artifacts ->Jar ->From modules with dependencies 添加Build  ，运行。问题解决！

    最近在学习Spark 并做一些练习的时候，总是存在：编译,Build通过，但是运行的时候就报错，而且查资料发现，基本都跟Scala 的版本有关。所以，再此备注，希望以后尽量将项目的Scala 版本跟Spark 中使用的Scala 版本保持一致，避免不必要的错误。