炼丹--服务器深度学习训练

主要内容：
本文将讲解如果利用现有的云服务器来跑python程序。

使用到了Anaconda
实现了PyCharm同步云服务器，实现本地编辑自动同步至云服务器，并且本地运行python程序时使用云服务器来跑代码（从而不需要消耗本地电脑资源）
或是不用PyCharm编辑，而是手动运行云服务器的python文件，挂载后台运行输出文本等
开发环境
云服务器：腾讯云（香港节点）：1核1G 25G CentOS 7.6.1810 x86_64

Anaconda版本：Anaconda3-4.3.1-Linux-x86_64 官方下载地址

Anaconda对应python版本：3.6.0

PyCharm版本：2021.1.2 专业版（注意：社区版本无法实现ssh连接服务器，所以无法实现主要内容2操作）

ssh工具：Xshell 5

服务器管理面板：宝塔面板（可有可无，主要更方便）

具体步骤
这里默认大家都具有一个完善可用的云服务器，不对服务器的搭建和基本配置做教程。

1.在服务器上安装Anaconda
使用Xshell或者其他终端模拟软件进行ssh连接服务器，不做具体教程。

①下载安装
可以先在PC端下载指定的Anaconda-Linux包 Anaconda官方下载地址
再拖入上传至服务器，再在Anaconda包所在目录使用以下命令安装（注意：使用你下载的包名）
若安装包没有执行权限，包名是白色的。先给它权限：

chmod u+x Anaconda3-4.3.1-Linux-x86_64.sh
再执行安装命令

sh Anaconda3-4.3.1-Linux-x86_64.sh
或者

./Anaconda3-4.3.1-Linux-x86_64.sh

或者直接使用wget命令进行下载
以下是我安装的目录：

输入python进行测试是否安装完成。出现如下即为成功安装。（如果不成功，记得重启下终端连接）

②配置
创建虚拟环境

conda create -n py36 python=3.6
查看当前存在哪些虚拟环境

conda env list
激活虚拟环境

source activate your_env_name
查看安装了哪些包

conda list
初始的包较少，现在需要安装一些常用的包，比如numpy，pandas，networkx，igraph，matplotlib等
安装可以用conda或pip命令，若环境自带的pip版本过低需要对pip进行升级。
在我首次搭建时，matplotlib和pandas使用pip安装，出现了报错，如下图，应该说的就是版本问题，查了一大圈都没找到原因，后来在学长的提点下，我又把anaconda重新创建了个虚拟环境，使用conda命令来安装matplotlib、pandas、numpy这几个包，但networkx、igraph还是需要pip来安装的，networkx我用conda安装报错了。
（conda和pip下载的包的版本是不一样的，如果各位出现我这种报错，就试试另一种安装方法。）

conda install package_name(包名)
pip install package_name(包名)

其他命令

conda update conda： 检查更新当前conda
conda search XXX 搜索包，查看可安装版本
conda remove -n py36 --all 删除环境
conda deactivate 退出虚拟环境，conda4之前版本：source deactivate

pip install --upgrade <包的名字> 更新包
pip install python_igraph （import igraph包）
2.配置PyCharm
完成服务器的anaconda配置，云服务器已经具备了运行python程序的能力。现在我们为了能让我们在PC端编辑的PyCharm代码能够实时同步云端，进行一些配置。

①打开PyCharm，添加解释器
一种是在右下角点击会出现python解释器，点击添加解释器

另一种是点击setting（设置）；再找到python解释器；再点击那个小齿轮；再点击添加。

打开后如下图，点击SSH解释器（社区版PyCharm应该没有这个，需要专业版）

输入服务器主机地址和用户名，点击下一步

设置服务器上的解释器路径，定位到你刚刚在anaconda创建的虚拟环境，找到python
（/root/anaconda3/envs/yunpy36(你的虚拟环境名)/bin/python）

在设置本地路径（本地项目路径） 和 服务器python存放位置。后面会把改目录下的python项目自动上传至服务器实现同步。
再点击完成，即设置成功。

②同步文件
只需要点击整个文件夹或者单个目录，再点击工具，找到部署，点击上传，即可实现将本地项目上传至服务器。可以勾选自动上传。

服务器同步的目录如下图

③测试
我们写一个test，进行测试（记得同步）
import math
import random
a = random.randint(2,5)
b = math.pow(a,2)
fo = open(“test1.txt”,“w”)
fo.write(str(b))
fo.close()
print(“Finish!”)

PyCharm输出，发现有ssh://root@XXX等字样，表示我们是在服务器运行的代码。
并且本地PyCharm也有打印输出，让我们再去服务器看看输出的文件“test1.txt”，而本地没有该文件。

那么整个PyCharm同步云服务器编程配置完成啦！！！

3.在服务器上运行python程序并且挂载后台实现跑实验
需求：我们不想通过PyCharm来运行服务器上的python，想让服务器后台挂载python程序，让它自己去连夜跑实验（压榨劳动力）那么就与我的PC一点关系都没有啦，打打游戏看看剧，不担心PC死机闪退等烦恼。

①SSH连接服务器
这里我还是用Xshell 5，省略连接步骤
②进入刚刚在anaconda创建的虚拟环境
source activate your_env_name

③使用nohup命令后台运行python程序
nohup python3 -u my.py >> my.log 2>&1 &
nohup命令的解读可以参考这篇博客 来了条链接
但需要一提的是 -u，若没有-u，nohup输出的my.log文件是在整个python运行结束后才会输出运行结果。而这样不便于我们所示查看python程序运行状态，加了-u后便实现了实时输出。
④查看进程状态
在使用nohup启动python时，会生成一个进程ID
可以使用 jobs -l 来查看当前终端的全部进程（改命令只适用于改终端窗口，若再开一个窗口需适用ps命令查看全局进程，如下命令）

还可以对改python程序进行暂停、恢复、杀死等操作
jobs -l （当前终端查看全部进程）
ps -aux|grep 进程号 （全局各个新终端查看指定进程）
ps -ef （全局全部进程）
kill -STOP 进程号 （命令可以直接暂停一个后台任务）
kill -CONT 进程号 （命令可以直接恢复一个后台任务）
kill -9 进程号 （杀死进程）