数据分析入门——手把手带你准备一个好用的Jupyter环境

Jupyter作为数据分析必备神器，本篇文章来教你如何搭建一个小团队使用的Jupyter环境。

基础环境——Docker

简要说一下Docker的好处，就是部署极其简单，因为常规的环境、开源项目都有现成的docker镜像，一行命令的就能完成部署。

如何部署Docker请看官方文档️。

针对不同环境有不同的安装方法

服务器通常都是Linux的，所以给大家提供一下linux的快速通道️。

Web UI

单机解决方案—— Portainer

Docker 社区版是没有图形界面的，不方便管理，所以单机版推荐大家使用[Portainer️]](https://www.portainer.io)，安装也非常简单，装好了Docker 以后只需要下面一行命令即可搞定：

$ docker volume create portainer_data
$ docker run -d -p 8000:8000 -p 9000:9000 --name=portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer

集群解决方案——Rancher

集群搭建还是个相对复杂的事情，Docker官方提供swarm的集群方式，一个小的实验环境用倒是没问题，Portainer也支持swarm，但是因为Google的Kubernetes的普及，swarm其实不推荐使用了，因为swarm部署使用的是docker-compose.yml的编排语言，而Kubernetes有它自己的编排语言，而且主流的生产环境应该都是Kubernetes基础的，所以条件允许还是建议选择Kubernetes。

image.png

基于Kubernetes的web UI也有很多，我比较推荐Rancher️，我从1.X开始使用的，是我用过最好用的，没有之一。我们自己的环境全部是Rancher。顺便说一下，Rancher还有一个针对物联网应用场景的k3s，同样也适合硬件资源比较紧张的同学。

Jupyter 的Docker镜像选择

在Docker Hub 上面Jupyter官方提供了18个镜像：

我们主要做数据分析，说高大上点叫数据科学研究的，可以使用这个镜像，也是下载量最大的一个：

如果你是单机环境，可以直接用下面这个命令安装并启动Jupyter的镜像：

docker run -p 8888:8888 jupyter/scipy-notebook

当然，还有各种的环境变量，存储持久化等设置，如：

docker run --rm -p 10000:8888 -e JUPYTER_ENABLE_LAB=yes -v "$PWD":/home/jovyan/work jupyter/datascience-notebook

更多详情请自行阅读官方文档️。

下载过程中，你一定会遇到一个很抓狂的事情，就是速度特别慢，那是因为你享受了我们中国特色社会主义国家的优越性，所以，你需要一些额外的骚操作进行加速，具体怎么加速这里就不说了，推荐一篇别人整理好的文章，自己去里面找吧：加速一切，配置国内镜像 - apt/brew/Docker/Python Conda/Maven，提醒一下，里面有conda的加速方法，镜像装好以后记得做一下conda的加速镜像配置，不然你装很多依赖库的时候一样会抓狂。

做完了这些，你就拥有了一个可以远程访问的Jupyter环境，如果你没有额外配置用户认证方面的东西，你直接访问端口是进不去的，你通常会得到以下画面：

每次Jupyter启动的时候都会生成一个token，这个token在启动日志里面可以看到：

最后两行就是

如果一切顺利，你就会看到下面这个界面：

其实，这个环境不仅支持python，还支持Julia和R另外两种适合做数据分析的语言，注意，这里的R和RStudio不是一回事，如果以R分析为主的话还是建议用RStudio Server。
好了，现在你就可以开始愉快的进行数据分析研究了（如果你懂那三种语言的话）。

另外，Jupyter还有一个小福利，就在刚才New下面有个Terminal，它可以帮你创建一个基于浏览器的命令行，这个对于远程使用的用户非常方便，尤其是你的Jupyter还是运行在Docker里面的，这样你不需要一层层的做ssh登陆了，一站式的解决所有问题。

本地工具与Jupyter集成

更多时候，我们希望在本地的IDE中使用Jupyter Server，通常是以下三种原因：

• 需要结合本地IDE环境提供更多其他方面的开发体验，如更智能的代码辅助、数据库连接工具等等。
• 需要借助服务器强大的性能。
• 参与计算的数据源可能有访问限制，本地无法直接访问到。这里可以参考我的另一篇文章：基于Docker和Jupyter，打造一个堡垒机远程管理工具

python开发者用Pycharm的比较多，所以这里简单说一下pycharm的配置：

pycharm中只要我们创建一个ipynb的文件，IDE就会自动识别成为Jupyter Notebook的编辑模式，这里默认pycharm是会给你提供一个Jupyter的本地server的，点开后我们可以配置为我们刚才在服务器上创建的Jupyter Server：

选择Configured Server，然后把日志里面带token的url贴到这里面来点OK，就连接到了远程的Jupyter上面去了，这个时候你可以更加愉快的进行数据分析了。

提示：因为你的本地IDE连接的是远程的Jupyter环境，所以你自己封装的python库、第三方的各种库、外部文件等等，都要确保在服务器环境有，而且路径都是服务器环境的路径，千万不要跟本地混淆了。