本地连接远程服务器jupyter-notebook

1. 条件

服务器已安装了Anconda，安装anconda后，在~/.bashrc 中配置环境变量，切记: $PATH:$PYTHON3,path变量在前，否则python运行一直是python3

2. 查看python版本

(base) [root@localhost ~]# python -V
Python 2.7.5
(base) [root@localhost ~]# python3 -V
Python 3.6.0 :: Continuum Analytics, Inc.
(base) [root@localhost ~]# 

一般centos7会自带python2.7,安装完anconda后python运行的是python3,需要修改软连接，将python重新指向python2.7

[root@slave2 ~]# whereis python

3. 修改python运行版本

进入/usr/bin/目录
查看python映射
删除python ->python3的链接

(base) [root@localhost bin]# rm python    #删除python3的链接
(base) [root@localhost bin]# ln -s python2 python  #重新将python指向python2

4.服务器端jupyter notebook配置

4.1配置文件

用jupyter notebook --generate-config生成配置文件，文件在/root/.jupyter下

(base) [root@localhost bin]# jupyter notebook --generate-config
Writing default config to: /root/.jupyter/jupyter_notebook_config.py
(base) [root@localhost bin]# 

4.2 密码

输入jupyter notebook password，此处输入的密码用于本地浏览器登陆。密码生成在/root/.jupyter/jupyter_notebook_config.json中，打开复制密钥

(base) [root@localhost bin]# jupyter notebook password
Enter password: 
Verify password: 
[NotebookPasswordApp] Wrote hashed password to /root/.jupyter/jupyter_notebook_config.json
(base) [root@localhost bin]# 
(base) [root@localhost bin]# cat /root/.jupyter/jupyter_notebook_config.json
{
     
  "NotebookApp": {
     
    "password": "sha1:035868764b08:1512dd56d2c778b006566a4c7fb19c5e9811092e"
  }
}(base) [root@localhost bin]# 

复制密文 "sha1:035868764b08:1512dd56d2c778b006566a4c7fb19c5e9811092e"

4.3 修改配置文件

vim /root/.jupyter/jupyter_notebook_config.py

c.NotebookApp.ip='*' #允许访问的IP地址，设置为*代表允许任何客户端访问
c.NotebookApp.password = u"sha1:035868764b08:1512dd56d2c778b006566a4c7fb19c5e9811092e"  #刚才生成密码时复
制的密文'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888   #可自行指定一个端口, 访问时使用该端口
c.NotebookApp.allow_remote_access = True
c.NotebookApp.allow_root = True   #允许root用户运行jupyter notebook

4.4启动服务端

(base) [root@localhost .jupyter]# jupyter notebook
如果8888端口被占用，会分配新的端口

本地浏览器访问，密码是之前输入的密码

5服务器端配置pyspark

创建一个pyspark的工作目录

(base) [root@localhost ~]# mkdir pyspark_workspace
(base) [root@localhost ~]# cd pyspark_workspace/

创建pyspark的启动脚本
vim /root/pysspark_workspace/start_pyspark.sh

#start_pyspark.sh

export PYSPARK_PYTHON=/root/anaconda3/bin/python3.7   #设定PYSPARK_DRIVER_PYTHON与PYSPARK_PYTHON的版本一致
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 
export SPARK_MAJOR_VERSION=2   #如果服务器安装的两个版本的spark，选择2，默认是1.6版本

#启动pyspark
pyspark 
#启动jupyter
#jupyter notebook

运行脚本

本地浏览器访问，创建python查看spark版本

配置完成，其他问题一般都是python解析器的版本的原因