pyspark解决报错“py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled ”

       今天在使用pyspark的时候出现了一个错误,就是“py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM”,这个错误之前也是遇到过的,但是没有记录下来具体怎么做的,只好去翻看之前的代码,查询到了具体的解决办法,具体解决方法如下:

import findspark
findspark.init()


from pyspark import SparkConf

    在从pyspark导入SparkConf之前先执行下面的语句:

import findspark
findspark.init()

     作用就是初始化找到本机安装的spark的环境,这样就可以了,记录一下备忘。

你可能感兴趣的:(软件工具使用,编程技术,大数据)