Linux 环境安装Pyspark

 Anaconda安装

1.Anaconda的下载

        前往官网下载Linux环境的Anaconda安装包：下载地址

2. 安装包上传安装

        1.将下载好的安装包上传到linux系统中

        

        2.解压安装包

root@master:~/env/conda# sh ./Anaconda3-2023.09-0-Linux-x86_64.sh

         按回车

        

         多次按空格，直到看到最后时候输入yes

      

         再次输入yes

        

         输入想要安装的路径，注意：最后一个anaconda3是安装时候自动创建的文件夹，所以要保证上一个目录下没有anaconda3这个文件夹。如果系统盘不是很大的话建议安装在数据盘，安装大约需要7-8G。

         

        输入yes后，继续回车然后等待安装。

         

        安装完成

         

3.Anaconda测试 

       安装Anaconda结束，输入两次exit退出控制台，并重新启动控制台。切换到root用户，此时命令行提示符会多出(base)字样，并执行python。

        

配置Pyspark虚拟环境

1.配置虚拟环境

        在命令行输入# pyspark 以及 conda create -n pyspark python=3.7。注意：在配置python版本时候应该注意当前机器的spark版本。如果安装的版本不正确可能会导致之后PyCharm连接远程解释器报错。

                        PySpark 2.x.x 不支持 Python 3.8。

                        PySpark 3.x.x开始支持 Python 3.8。

由于本人机器的spark版本为2.3.2所以python版本选择3.7。

输入y，等待安装完成

 

   安装完成 

 

2.测试环境

    输入conda activate pyspark ，查看虚拟环境是否改变

 

 安装pyspark类库

        使用pip下载安装包

(pyspark) root@master:~# pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple

         图中的警告是提醒你当前是以root用户身份运行pip命令，这可能会导致权限问题和与系统包管理器的冲突。建议你使用虚拟环境来代替直接在root用户下运行pip命令。不用管。

         打开python，然后improt pyspark，如果没有报错不存在则说明安装成功。