zeppelin+spark遇到的问题

       由于电脑重装系统(Ubuntu18.04),之前运行得好好的zeppelin突然各种报错。由于本人比较菜,而且网上类似bug解决的帖子很少,所以最后花了好几个小时才搞定。希望能够帮助到出现相同问题的同学。

       重装完系统后,我下了spark-2.4.0版本,zeppelin-0.8.0版本。(spark的安装配置可以参考这篇文章:https://blog.csdn.net/u010171031/article/details/51849562。zeppelin的安装比较简单,从官网https://zeppelin.apache.org/download.html下载文件名以netinst.tgz结尾的压缩包并进行解压,解压后先各自去掉zeppelin-env.sh.template, zeppelin-site.xml.template 的.template后缀,再在zeppelin-env.sh中添加export JAVA_HOME=xxx, export SPARK_HOME=xxx, xxx填自己的地址。)安装部署部分说的比较简陋,因为这个不是今天的主题,希望大家见谅。

       部署好后,我就准备操作了。谁知道,报错了!

zeppelin+spark遇到的问题_第1张图片

        这个bug把我搞了半天,网上很难找到有用的答案。后来咨询了大佬,大佬提议我换个spark版本。于是,将版本换为spark-2.3.2。

       果然!这个bug解决了,不过又有新bug出现!

        java.lang.NoSuchMethodError:io.netty.channel.DefaultFileRegion

       这个就比较好解决了,百度一下看到有这篇博客http://www.louisvv.com/archives/1744.html 原来是spark2.3.2中的netty包和zeppelin的冲突了!统一用spark的netty-all-4.1.17.Final.jar。问题解决!

      本以为这下可以操作了,结果在用spark.sql语句时又报错:)

      java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.rdd.RDDOperationScope$。

      还好又是比较好解决的bug,这篇博客刚好能够解决问题https://blog.csdn.net/xwc35047/article/details/60137009。又是包冲突!把包统一后,终于能运行啦!

你可能感兴趣的:(数据分析工具)