spark2.1 和 python3.6的问题

spark不支持python3.6

不用卸载python,用anaconda的环境切换就行了

1. 先创建一个新的开发环境: conda create -n my_new_env_python35

2. 激活这个新的开发环境: activate my_new_env_python35

3. 在这个新的开发环境中安装python 3.5: conda install python=3.5

这时python3.5版本的解释器就算是安装完成了,目录为:/home/username/.conda/envs/my_new_env_python35


我觉得没必要较劲,有些浪费时间,之前在首次安装时输入pyspark出现过三个关键词缺失的错误,这里有写解决方法http://blog.csdn.net/sisteryaya/article/details/68945705 。但这次是因为输入:sc.parallelize(range(100),8).take(5) 时,又出现这个错误:

 
  
TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'

        你可以按上面的那个方法做,在改变一下环境变量就可以了;或者,直接安装python3.5,但是它的库比较多,在windows上安装过一次,这次在虚拟机上使用,个人觉得装Anaconda就可以了,所有版本在这里:https://repo.continuum.io/archive/

python3.5的版本是这个  Anaconda3-4.2.0-Linux-x86_64.sh

你可能感兴趣的:(spark2.1 和 python3.6的问题)