pyspark 报错 - No port number in pyspark.daemon‘s stdout

错误内容:

org.apache.spark.SparkException: No port number in pyspark.daemon's stdout

使用 Anaconda 进行 pyspark 开发,在 pycharm 中出现了如上错误,从网上找寻到一个猜测就是 base 环境中的 python 版本不一致或者不兼容导致的,后来更换了低版本的 Anaconda 后再度使用创建后的环境就成功了,问题及解决方案在这里记录一下。
这个错误我的最终解决方案是:更换低版本的 Anaconda ,比如我使用的 pyspark 是 2.4.0 版本,需要用到的 python 版本是 3.7.X ,所以这里就使用一个 base 环境的 python 版本是 3.7 的 Anaconda 进行替换。

Anaconda 历史版本下载汇总:

 https://repo.anaconda.com/archive/

Python 版本和 Anaconda 版本对应关系查询:

https://docs.anaconda.com/anaconda/packages/oldpkglists/

在这里插入图片描述

你可能感兴趣的:(Spark,pyspark,python,开发语言,spark)