jupyter配置scala和Spark学习环境

jupyter配置scala和Spark学习环境

简介：

Jupyter Notebook（此前被称为 IPython Notebook）是一个交互式笔记本，支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等

在学习Python的时候无意见发现了这个，很特别，很好用的一个东西。可以直观的展示代码和运行结果等等。后来发现它支持scala语言和Spark基本的学习。所以特别的整理了下配置。

安装过程记录

Anaconda配置

安装Anaconda。【Anaconda附带了很多东西，Python的很多用于科研的包、Ipython、Jupyter、Spider等。安装过程略。安装很简单，不过建议网上再搜索下。

配置jupyter

这里配置一下jupyter的登录。因为默认的情况下，启动Jupyter后，会打开一个浏览器页面。不过，当你一不小心把它关闭后，你需要去终端复制那个token。。比较累，比较烦。

打开Ipython。获取密码。

In [1]: from IPython.lib import passwd

In [2]: passwd()
#建议输入密码的时候，不输入～省的下一次在其他浏览器页面打开的时候，还要再输密码
Enter password: 
Verify password: 
Out[2]: 'sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856' 

复制这个：

sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856

接下来生成秘钥：

openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

创建一个服务器配置：

ipython profile create nbserver

创建jupyter的配置文件：

 jupyter notebook --generate-config
 vim /root/.jupyter/jupyter_notebook_config.py
 #修改内容
c.NotebookApp.password = u'sha1:。。。。。。。。。。。' 这个填写之前复制的那个
c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' 这个其实我不知道干嘛的。。
c.NotebookApp.ip = '*'
c.NotebookApp.port = 9999

之后就可以启动了～[可以把这个放在后台～]

jupyter notebook

配置scala支持

这个需要特别的安装下，安装过程并不复杂

建议读这个：

https://github.com/alexarchambault/jupyter-scala

把它clone下来，然后Simply run the jupyter-scala script of this repository to install the kernel. Launch it with --help to list available (non mandatory) options.

Once installed, the kernel should be listed by jupyter kernelspec list.

配置Spark

Spark 需要提前安装好，版本不要太老～～

此处使用Apache toree给notebook安装Scala kernel

toree官网下载页,不需要解压，直接使用pip install安装

wget https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz
pip install toree-0.2.0.dev1.tar.gz

接着使用一下命令安装，其中spark://localhost.localdomain:7077为你的spark地址，/root/spark为你的spark安装目录

jupyter toree install --spark_opts='--master=spark://localhost.localdomain:7077' --user --kernel_name=Spark2.0 --spark_home=/root/spark11

测试是否安装成功，列出kernel列表，

  python2             /home/youxiangyang/anaconda2/lib/python2.7/site-packages/ipykernel/resources
  scala               /home/youxiangyang/.local/share/jupyter/kernels/scala
  spark1.6.2_scala    /home/youxiangyang/.local/share/jupyter/kernels/spark1.6.2_scala

运行jupyter，你就可以看到在新建项目那里多出了spark和scala。。

可能还会有较多的问题没有处理完～（其实这时候，笔者已经可以开始用了，暂时还没有遇到问题，如果大家在使用的时候发现了，可以留言讨论）