spark 运行遇到的问题汇总

1. java.lang.classnotfoundException scala.predef any2stringadd

版本错误，尤其时scala中对应的版本错误（一个是kafka-2.10，另一个是akka_2.11）,版本之间的不一致导致的编译错误。

2. spark sql java.lang.nosuchmethoderror com.google.common.util.concurrent.moreexecutors.sameThreadExecutor

http://stackoverflow.com/questions/35157642/nosuchmethoderror-com-google-common-util-concurrent-moreexecutors-directexecuto

将guava版本由21.0更改为18.0

dependency>

com.google.guava

guava

18.0

3.java.lang.unsupportedoperationexception: schema for type org.apache.spark.sql.Column is not supported

更改了实现方式（以列作为参数进行相关操作后  spark sql  不支持）

4.error diskblockmanager exception while deleting local spark dir

java.io.exception failed to delete

据说是bug'   没找到解决方案

resources内一定要有  hive-site.xml    hdfs-site.xml hadoop-env.sh  core-site.xml  等核心配置文件

add......