CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

最近为了适配客户版本,搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的,为配合客户需要升级成Spark2,由于机器资源有限制,先把Spark1.6删除了,下载SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel包,进行了安装。安装完成之后,运行Spark的相关命令就报java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream异常,我使用的命令是spark2-submit时报错,其实所有Spark相关命令都是一样的错误。

特别需要注意是:

            spark2的提交命令是Spark2-submit,系统可能会有spark1.6的命令spark-submit干扰

             使用Spark的命令的机器需要安装Gateway组件,然后需要deploy client configuration(部署客户端配置)。个人认为既然使用CDH Manager,如果还去机器上直接改配置的,那还要CDH Manager干啥?网上有很多答案,都说教人要改这改那的,这命令那么命令的,可能别人也没搞明白为啥会出那样的问题。

错误信息如下

[root@hadoop60 ~]# spark2-submit
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124)
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:124)
        at org.apache.spark.deploy.SparkSubmitArguments.(SparkSubmitArguments.scala:110)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more
[root@hadoop60 ~]# 

解决步骤

1. 选择需要使用Spark命令的机器上安装Gateway组件

2. 增加Spark-env.sh的配置export SPARK_DIST_CLASSPATH=${SPARK_DIST_CLASSPATH}:$(hadoop classpath)

输入之后,最好行的末尾回车一下

CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream_第1张图片

3. 部署Spark客户端配置

CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream_第2张图片

4. 如果还不行,可以尝试重启Spark或者集群我忘记了有没有做这一步

 

做了这些步骤之后,就好了。开始网上找来找去,都不合适,网上有很多这个错误的,就是没有一个真正解决的,当今的网络太纷繁复杂了,啥信息都有,很难分辨。抽空写出来,希望对大家有用。

CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream_第3张图片

你可能感兴趣的:(大数据)