SparkSQL toDF() java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/la

val orderDF=sc.textFile(args(1)).map(_.split(" ")).map(x=>Order(x(0),x(1),x(2).toInt,x(3).toInt,x(4))).toDF()

当使用Spark-submit时出现错误：java.lang.NoSuchMethodError  但在spark-shell可以使用toDF()函数

原因：编译环境使用的是scala2.11  而spark集群中使用的是scala2.10 所以出现上面的问题

卸载scala2.11 重新安装scala2.10  build artifact 发现可以了。。。。。

Spark 1.4 RDD to DF fails with toDF()

点击打开链接