ml-workspace 一体化机器学习开发平台(IDE、Docker、工具安装)

前言

在我们进行机器学习的开发过程中，可能会遇到各种环境问题，俗话说，“单单配置环境这一步就把百分之五十的人挡在了机器学习的大门外”，因此，为了帮助大家克服所有环境问题，减轻学习成本，加快上手的速度，本文推荐一个非常非常简单易用便捷灵活高效…的一体化机器学习开发平台——ml-workspace。不仅仅解决环境安装等问题，ml-workspace是一个IDE，它提供了一整套机器学习研究、开发的工作流，提供了非常多的工具，比如Jupyter、vscode、git、基于web的linux桌面GUI、各类指标监控工具等等（更多特性可以通过下方github链接了解）。
最重要的是，ml-workspace得益于其Docker的虚拟化机制，可以完美的部署在Mac、linux和window平台。

---

ml-workspace github链接
https://github.com/ml-tooling/ml-workspace#features

简介

ML workspace是一个一体化的基于web的IDE，专门用于机器学习和数据科学的开发工作。部署起来很简单，只需几分钟就可以在您自己的机器上高效地构建ML解决方案。 这个工作空间是开发者的终极工具，预安装了各种流行的数据科学库(如Tensorflow, PyTorch, Keras, Sklearn)和开发工具(如Jupyter，VS Code, Tensorboard)，完美配置，优化和集成。

特性

• Jupyter, JupyterLab, and Visual Studio Code web-based IDEs.
• Pre-installed with many popular data science libraries & tools.
• Full Linux desktop GUI accessible via web browser.
• Seamless Git integration optimized for notebooks.
• Integrated hardware & training monitoring via Tensorboard & Netdata.
• Access from anywhere via Web, SSH, or VNC under a single port.
• Usable as remote kernel (Jupyter) or remote machine (VS Code) via SSH.
• Easy to deploy on Mac, Linux, and Windows via Docker.

安装

ml workspace是一个基于Docker镜像的服务，因此需要先在本地安装Docker。

步骤1：安装Docker（若已安装，跳过）

官网安装：https://docs.docker.com/get-docker/

或参照下面的方式安装Docker：
各类操作系统下安装命令略有不同，可自行搜索。本文以 linux 系统为例：

sudo curl -sS https://get.docker.com/ | sh

如果你本地有gpu，继续执行如下命令以支持gpu调用（以ubutun为例）

# Add the package repositories 
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) 
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - 
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list 

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit 

安装完成后，启动docker 服务

启动docker服务

sudo systemctl restart docker

步骤2：下载镜像，并创建启动一个容器

在终端中输入，即可从dockerHub中下载ml-workspace镜像mltooling/ml-workspace:0.13.2，并根据镜像创建启动一个容器，将本地8080端口映射到容器的8080端口。

 sudo docker run -p 8080:8080 mltooling/ml-workspace:0.13.2

由于完整镜像大小为10.1GB，所以此过程可能较慢，取决于网速。
（官方也提供了1.28GB的最小镜像，同样也包含了大部分的工具和特性，只是后期根据实际使用需要自己pip install用到的库）

ml-worsapce 最小镜像

> docker run -p 8080:8080 mltooling/ml-workspace-minimal:0.13.2

上述过程完毕后，容器即开始运行。

步骤3：打开本地浏览器，输入http://localhost:8080

此时，就可以看到ml-worksapce的notebook界面啦！

• 然后我们来随便运行一个ipynb，测试一下。
  

• 查看已安装的库

通过conda list，可以看到几乎所有常用的机器学习库都有，从此以后再也不用担心缺包少库的环境问题啦！

以上，只使用了ml-workspace不到一半的功能！

毕竟作为一个一体化的机器学习工作站，功能肯定不仅于此！

Open Tool使用更多集成工具

在notebook的右上角，有一个不起眼但蕴藏极多奥秘的百宝箱，可以看到有

VNC

VS Code

硬件资源监控

更多。。。

除了预安装的工具，还可以自己安装其他工具！

搭建好了这套一体化工作站之后，就开启无忧无虑的高效学习模式吧！