pyspark3.1.1在linux python3.5环境下报错AttributeError: ‘NoneType‘ object has no attribute ‘items‘

在搭建大数据pyspark环境时遇到的问题/坑，困扰了两三天，记录一下。

我的环境版本如下：

• linux16.04
• python3.5（linux自带）
• Hadoop2.7
• java 1.8_8u281

按照厦门大学实验室安装教程搭建环境，当时选择了最新的spark-3.1.1版本，如图：

按照教程流程安装完后，运行pyspark失败，报错AttributeError: 'NoneType' object has no attribute 'items'。报错界面如下：

百度了一下竟然没有人遇到相同的问题，就考虑可能是版本问题。用windows下的python3.6直接pip3 install pyspark，下载的版本也是pyspark-3.1.1。发现可以正常运行。查了一下spark-3.1.1目前还不是稳定版，猜测或许不支持python3.5，所以考虑重新安装了低版本的spark-2.4.7版本，重新配置环境后成功运行pyspark，运行import pyspark模块的python文件也不会报错。成功界面如下：

总结：pyspark-3.1.1可能与python3.5版本不兼容。可以考虑更换pyspark-2.4.7或者是python3.6。