Anaconda软件中的 Environments 及 Jupyter Lab使用方法介绍
来源：投稿 作者：助教-Frank
编辑：学姐
<<打造舒适的AI环境>>系列总览：
分为硬件篇x1 跟 软件篇x3
硬件篇1：主机八大件的选购
软件篇1：AI开发过程中常用开发命令、软件安装等
软件篇2：软件：Anaconda使用
软件篇3：软件：VS Code使用
本篇是打造舒适的AI开发环境系列-软件篇2
本文的重点：
(1)Environments使用中如何安装python包.;
(2)Jupyter Lab如何在服务器后台开启，从而让个人笔记本随时访问。
在下一篇文章中将讲述Appication库中VS Code, PyCharm这两个IDE如何结合本文讲述的Environments使用，以及如何连接远程学校/公司集群运行以及远程debug代码。
1.安装
本章介绍Anaconda在MacOS, Ubuntu, Windows是如何安装的。
笔者的笔记本是MacBook, 即MacOS系统, 额外装于Ubuntu系统的服务器位于学校集群。
Anaconda下载地址:
https://www.anaconda.com/products/distribution 根据自己的系统选择对应红色框的部分，建议此软件安装到SSD固态上加快读写速度。
Windows系统：
后缀为exe文件直接点击，下一步即可
此处需要注意，Advanced Options界面, 务必勾选添加环境变量（后续省事）。其余下一步即可。
MacOS系统：后缀为pkg文件直接点击拖入应用程序即可
Ubuntu系统: .后缀为sh文件.
由于公司/学校AI集群一般是没有图形化界面。需要右键图一的” 64-Bit(x86) installer“ 复制anaconda的下载链接地址。
step1: 根据IP/user_id/port链接服务器
ssh [email protected] -p 2022
step2: 转到任意一个目录进行wget
cd Downloads
wget -c https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh
step3: 安装，采用默认Enter yes yes即可
sh Anaconda3-2021.11-Linux-x86_64.sh
通过此章节完成了Anaconda软件在Windows/MacOS/ubuntu的安装
2.Environment的基本使用
此章节分为三个部分，如何创建Environment、 Python软件库的选择、替换清华源。
2.1 创建Environment
Windows: 如下图打开Powershell或者win+R的终端
MacOS/Ubuntu：打开终端.(bshell, zshell都可)，此处推荐zshell，有自动补全功能, 如何安装使用会在软件篇3介绍。
step1: 创建名为python3.6_torch1.5_cuda10.1的Environment
此处为笔者的命令习惯, 也建议大家采取这样的命令方式, 这样可以很好的管理不同版本，此处大家可以根据自己想要安装的python torch cudad版本命名即可.不需要跟我一样, 一个系统可以安装若干Anaconda Environment。
此处需要Windows/Ubuntu安装好CUDA，Windows下一步下一步即可。Ubuntu稍微麻烦。
后续可以出一个文章单独介绍如何配置Ubuntu中的各种软件，此处默认大家已经安装好。
对于MacOS由于没有NVDIA GPU也就只能安装CPU版本的pytorch。
那么可以采用python3.6_torch1.5_cpu命名。
特别：TensorFlow不同版本的安装要严格对应GPU版本。2.1.1 补充
conda create --name python3.6_torch1.5_cuda10.1 python=3.6
step2: 激活Environment，并安装Python 包
如何找到Python 包的安装命令在下一个章节
conda activate python3.6_torch1.5_cuda10.1
pip install numpy
2.1.1 TensorFlow. Pytorch的安装
TensorFlow:https://www.tensorflow.org/install/source?hl=zh-cn#gpu
如下图所示。TensorFlow不同版本有严格的CUDA对应要求, 如果你系统装了CUDA10.1 去安装tensorflow-2.40会报错，如何安装不同Tensorflow版本，会在2.2章节给出
Pytorch:
https://pytorch.org/get-started/previous-versions/
相比于TensorFlow的静态图机制, 基于动态图的Pytorch不同版本就不需要严格对应系统CUDA，在上述链接中可以找到不同版本的下载信息。
2.2 Python软件库的选择
在windows中，我们可以通过360管家或者腾讯电脑软件管家很方便的把很多exe文件给整理好了，所以我们能很方便的去下载各种应用。
比如QQ, 微信, 英雄联盟等各种软件。类似的，在Python所有包中，有没有一个厂商把numpy/torch/tensorflow等各种各样的库包装好呢？其实是有的。笔者这里给推荐两款，其实就相当于python库集合中的360/腾讯电脑管家。
2.2.1 Anaconda org
https://anaconda.org/anaconda/repo
以numpy为例
如下图所示, 可以看到这个包能在哪个系统上安装, 以及安装的命令,
2.2.2 Pypi org
https://pypi.org/
如下图所示，搜索numpy。
跟上述一样也看到安装命令. 以及历史版本. 笔者这里建议采用pypi
2.3 替换清华源
由于上述Anaconda/Pypi 服务器都在国外, 导致我们在安装某些包的时候速度太慢了, 所以有一些大学或者公司把国外的这些库给搬到国内来. 有名的比如清华、中科大、阿里等. 此处只介绍笔者经常用的清华源.
地址: https://mirrors.tuna.tsinghua.edu.cn/
如下图, 此处已经给了替换方法。
step1:激活自己的Anaconda Environment
conda activate python3.6_torch1.5_cuda10.1
step2: 对于windows系统需要生成.condarc文件，并全局搜索找到 .condarc文件
conda config –set show_channel_ruls yes
step3: 对于MacOS/ubuntu系统在home/xxx（xxx为自己用户名）找到.condarc文件，替换清华源地址
vim /home/wlsh/.condarc
此时再开始安装库是不是速度快的飞起︿(￣)￣)︿
3.Jupyter Lab的使用
当我们点开安装好的Anaconda软件，其实会发现软件库中有N多开发软件。
本节只介绍Jupyter Lab的使用，有的同学可能会问为啥不使用Jupyter Notebook。其实Jupter Lab是notebook的升级版, 更加的方便简单。
最重要的是后面我会介绍如何在学校/公司集群上如何长久的开启一个端口，用你的笔记本能随时随地访问，跟Kaggle或者某些租卡平台一样。
3.1 本地使用
对于windows/macOS/ubuntu有图形界面的系统来说，
一方面可以通过菜单栏点开Aanaconda的图标，得到上面的界面，然后点开Jupyter Lab。
另一方面可以在终端直接输入jupyter lab浏览器即可直接打开。
3.2 服务器使用
当我个人有一个台服务器 或者 实验室有一台服务器, 我应该如何在服务器上开启jupyter lab服务 让我能够在我笔记本上随时随地访问. 就跟kaggle或者colab提供的jupyter lab界面一样。
step1; 通过IP/use_id/port连接集群
ssh [email protected] -p 2022
step2: 激活自己的Anaconda Environment
conda activate python3.6_torch1.5_cuda10.1
step3: 安装jupyterlab并添加Environment到Jupyterlab
pip install jupyterlab
python -m ipykernel install --user --name python3.6_torch1.5_cuda10.1
step4: Jupyterlab的配置:
4.1 生成jupyter lab的配置文件
jupyter lab --generate-config
终端显示生成的配置文件位于
/home/frank/.jupyter/jupyter_lab_config.py
4.2 修改jupterlab登录密码
Jupyter lab password
4.3 主机IP/端口设置，编辑文件在最后面添加三行。
这三行的意思分别是允许任何IP链接. 集群不打开jupyter lab的图形界面, 初始服务器端口IP 如果遇到冲突会自行替换。
vim /home/frank/.jupyter/jupyter_lab_config.py
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.port=8888
4.4 启动jupyter lab并挂到服务器的后台，查看后可以找到IP。
然后把localhost替换为服务器IP，在自己笔记本浏览器打开就可以啦！
nohup jupyter lab --port=8891 &
cat nohup.out
4.5关闭挂到后台的jupyter lab, 查找进程ID, 并关闭
ps -ef | grep jupyter lab
Kill -9 xxxx
关注下方《学姐带你玩AI》
“打造舒适的AI环境”系列更新中，跟着大神学AI啦
码字不易，欢迎大家点赞评论收藏！