pyspark报错问题 Exception in thread "main" java.lang.UnsupportedClassVersionError 成功解决

        pyspark是基于Python去学习实践spark框架很好的方式之一,之前我已经按照网上的一些教程完整地搭建了Hadoop和Spark的环境,之后安装了pyspark,安装方式很简单直接使用下述命令即可:

pip install pyspark

       一系列的安装结束之后就安装好了pyspark以及相关的依赖模块了。

       在我之前的博客里面也有相关的机器学习建模分析的教程,感兴趣的话可以看看,下面给出来相关的链接:

      pyspark分类算法之多层感知机神经网络分类器模型实践【MLPClassifier】

      pyspark分类算法之梯度提升决策树分类器模型GBDT实践【gradientBoostedTreeClassifier】

      pyspark分类算法之随机森林分类器模型实践【randomForestClassifier】

      pyspark分类算法之决策树分类器模型实践【decisionTreeClassifier】

      python实现CSV特征文件转化为libsvm特征文件输入spark中进行机器学习

      ......

      除此之外还有其他相关的基础学习实践的文章,这里就不一一列举了。

      今天主要是简单说一下上述报错问题的解决方案,由于系统盘损毁无奈只好换了系统盘重装了系统,导致之前的大数据环境已经没有了,今天有时间就想重新搞一下,安装配置好以后运行我的dmeo程序发现了上述的报错,各种查询和尝试和后突然想到可能是由于jdk版本的问题造成的,因为我在配置scala环境的时候就出现过类似的问题,这里果断修改了JAVA_HOME的路径,上述问题就解决了。

      下面是我本地环境中的Hadoop和Spark版本信息:

      上述版本我最开始使用的是jdk1.7版本的后来发现不适配,改用jdk1.8版本的就可以了。

       记录一下备忘学习。

 

你可能感兴趣的:(软件工具使用,机器学习,编程技术)