CENTOS7 Anaconda+Jupyter+Pyspark联合安装
目录
1、 安装anaconda（在线）
2、 连接jupyter notebook（在线）
3、离线Anaconda配置
4、离线Python环境配置（虚拟环境）
5、 jupyter notebook 连接pyspark
1、 安装anaconda（在线）
1.1、 下载anaconda
1）在终端输入（x86系统）
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
报错
wget：commend not found
# 没有wget命令则用yum安装，在终端输入：
yum install wget -y
2）在终端输入（Arm系统）
wget https://github.com/Archiconda/build-tools/releases/download/0.2.3/Archiconda3-0.2.3-Linux-aarch64.sh
1.2、 安装，在终端输入
bash Anaconda3-2020.02-Linux-x86_64.sh
点击Enter，出现安装条例，一直Enter键直至出现是否同意，输入yes，最后确定安装位置。
1.3、 激活环境，在终端输入
source ~/.bashrc
1.4、 建立python虚拟环境，在终端输入
conda create -n pytorch(env_name) python==3.7.0
1.5、 激活环境
conda activate pytorch
问题：
1、在1.2步安装过程中可能出现
bunzip2 connot find
解决
yum install bzip2
2、 连接jupyter notebook（在线）
2.1 进入虚拟环境
conda activate pytorch(env_name)
2.2 在虚拟环境中安装jupyter，在终端输入
conda install jupyter
2.3 生成jupyter的配置文件，在终端输入
jupyter notebook --generate-config
2.4 修改配置文件，在终端输入
vim ~/.jupyter/jupyter_notebook_config.py
将如下几项内容去除注释后修改值如下并保存：
# 服务ip地址，0.0.0.0代表绑定到本机所有的ip上
# c.NotebookApp.ip='0.0.0.0'
# 工作端口
c.NotebookApp.port =8888 # 随便指定一个端口
# 共享目录
c.NotebookApp.notebook_dir = 'xxxxxxx' # 设置Jupyternotebook 打开的根目录
2.5 配置防火墙封端口
firewall-cmd --zone=public --add-port=8888/tcp –permanent
sudo systemctl restart firewalld
2.6 修改密码
重置jupyter notebook密码，在终端输入
jupyter notebook password
然后输入设置的密码即可。
2.7 为jupyter notebook添加conda的内核
在虚拟环境中安装插件，在终端输入
conda install nb_conda
2.8 运行jupyter notebook，在虚拟环境下启动，在终端输入
jupyer notebook
如果是管理员则输入
jupyer notebook --allow-root
然后输入设置的密码即可。
可能报错：
解决方案：将所缺失文件设置成一个软连接，连接到该目录下同一性质文件，这里报错是缺失libffi.so.7文件，但是该目录下存在libffi.so.6文件，故将其软连接于libffi.so.6文件上，问题得到解决。
目录为虚拟环境中的lib文件夹
cd ~/anaconda/envs/env_name/lib
ln -s libffi.so.6 libffi.so.7
3、离线Anaconda配置
3.1、将离线下载的Anaconda安装包导入离线环境中
3.2、安装，终端输入命令
bash Archiconda3-0.2.3-linux-aarch64.sh
点击Enter，出现安装条例，一直Enter键直至出现是否同意，输入yes，最后确定安装位置。（同上）
3.3、激活环境
source ~/.bashrc
4、离线Python环境配置（虚拟环境）
4.1、将在线配置好的虚拟环境env_name打包，压缩虚拟环境
tar -cvf env_name.tar env_name/
4.2、使用U盘或者ssh将压缩后的文件传输到服务器
4.3、将压缩包复制到服务器上的anaconda3/envs目录下，并解压，在终端输入
tar -xvf env_name.tar # 解压
4.4、打开环境
conda activate env_name
5、 jupyter notebook 连接pyspark
在master服务器端，添加的~/.bashrc文件中添加如下环境变量：
vim ~/.bashrc
#py-spark
export PYTHONPATH = /spark/python:$PYTHONPATH #pythonpath指向spark目录下的python文件夹
export PYTHONPATH = /spark/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH #指向py4j包，没有的话下载一个
export PYSPARK_PYTHON=/anaconda3/envs/envs_name/bin/python3 #使用虚拟环境中的python3
export PYSPARK_DRIVER_PYTHON=/anaconda3/envs/envs_name/bin/jupyter #使用虚拟环境中的jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=’0.0.0.0’ --no-browser --allow-root"
在服务器端输入
pyspark
则会同样打印出访问链接，输入到本地浏览器访问即可。
此时的jupyter类似在终端启的一个pyspark-shell ,所以在启用jupyter时可以定义任务资源，如下
nohup pyspark --master yarn --deploy-mode client --driver-memory 20g --driver-cores 1 --num-executors 10 --executor-memory 6g --executor-cores 1 --conf spark.yarn.executor.memoryOverhead=8192 --conf spark.default.parallelism=800 &
"nohup"是定义在终端关闭后，jupyter程序仍在运行（常规的jupyter任务也可以用，很强大的功能）；后面是定义的资源大小，可根据实际的情况配置。
关闭nohup进程
若想要关闭nohup jupyter,可以执行以下操作：
#查看进程
ps -aux | grep jupyter
#结束进程
kill -9 xxxx(进程号)