spark与python3的应用
先按照spark和Python3
export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7
export PATH = $PATH:$HADOOP/bin:$HADOOP/sbin
解压完spark后需要配置环境变量,和hadoop配置是一样的请看本人上一篇bolg.
配置好环境变量后我刷新一下路径的存储文件
source ~/.bashrc
然后执行spark-shell命令测试spark是否成功安装:
这里我们看到了spark的版本2.2.1 scala是一门编程语言,spark默认的编程语言,当然我们要在python中启动spark也是可以的.
Python3的安装
一直按照提示确认,
当到达这一步时
但你输入完yes的时候回提示
它的意思是>>>>
Anaconda3将被安装到这个位置:
/home/hadoop/anaconda3
-按回车键确认位置。
-按CTRL-C中止安装。
-或指定下面的不同位置。
如果你不想安装在默认的路径,你只要在后面写上路径后确认,我这里是直接默认的路径,直接回车.等待
这是默认给你配置好环境变量直接yes就OK
你是否希望继续安装微软VSCode?(是的|不)
这个问题一直都困扰我的,之前就因为这个导致我装了大半天,但是有的Anaconda3它不会出现这提示
出现这个你选择no,不然你是永远也装不成功的,如果你不小心写了yes, 那你只能把你刚刚的那个安装的包直接删除了在重新安装一下,
测试一下确认是Python3,我这里的是3.6.4版本的
下面我们在Python中启动spark执行下面的代码>>>>
这是抛出的异常>>>>>
这是启动了个spark导致的异常,我们学要关闭一个进程来解决这个问题
-9 , -KILL 发送 kill 信号退出
再去执行代码启动spark>>>>>>
spark启动成功了!