前段时间，口袋需要对一个600w的MySQL表进行处理，数据处理使用的语言是Python。
代码部署在192.54服务器上，通过SSH登陆到远程服务器后，手动执行该任务。由于涉及到的数据量比较大，会比较耗时，直接运行 python test.py 的话，中途可能会因为关闭 Terminal、网络不稳定等各种原因，导致进程中断。
为保证服务能尽快圆满执行，需要时刻关注进程状态，出现故障时，及时手动重启。显而易见，这样会浪费大量的精力 & 打断正常工作节奏。
如何让命令提交后不受本地关闭终端窗口/网络断开连接等因素的干扰呢？接下来找解决方案：
- nohup
- supervisor
nohup
nohup，即 no hangup，nohup 的用途就是让提交的命令忽略 hangup 信号，从而使我们的进程避免中途被中断。
使用方法也很简单，直接在命令前加上nohup即可，标准输出和标准错误缺省会被重定向到 nohup.out 文件中。一般我们可在结尾加上&来将命令同时放入后台运行，也可用">filename 2>&1"来更改默认的重定向文件名。
nohup python update_t_drug_readnum.py &
考虑到nohup简单好用，开始时，我也尝试使用nohup & 来执行，但是仍然会莫名其妙的中断，窝火ing，无奈下继续寻找新方法，接着找到linux中的一个神器：supervisor
supervisor
Supervisor is a client/server system that allows its users to monitor and control a number of processes on UNIX-like operating systems. -- from http://supervisord.org/
说人话就是：supervisor是用Python开发的一套client/server（是不是在学docker时，也遇到过Docker Engine is a client-server application）进程管理程序，能让用户在类Linux操作系统中监控一组进程。
components
supervisord
supervisor 的服务端叫做supervisord。它负责启动子进程（将普通的命令行进程变为后台daemon）、响应客户端命令、监控进程状态、自动重启crashed掉的子进程、纪录子进程的stdout、stderr。
supervisord需要用户在配置文件：/etc/supervisord.conf中配置一些满足业务需要的自定义参数。
supervisorctl
supervisor 的客户端是supervisorctl，它提供了shell-like 接口来调用supervisord。通过supervisorctl，用户可以连接到多个supervisord进程，获取supervisord下的子进程状态，stop or start 子进程，获取supervisord中running状态的子进程。
supervisorctl 与 supervisord的交互是通过TCP协议。
Web Server
同时 supervisor 也提供了web界面来访问 supervisord
XML-RPC Interface
supervisor 也提供了XML-RPC接口来访问 supervisord
使用步骤
- 安装supervisor: pip install supervisor
- 生成默认配置文件
echo_supervisord_conf > /etc/supervisord.conf
- 修改/etc/supervisord.conf
[program:drug]0
command=python update_t_drug_readnum.py
autostart=true
- 启动supervisord
supervisord -c /etc/supervisord.conf
supervisord // 也可直接运行该命令，默认找/etc/supervisord.conf的配置文件
- 启动supervosirctl
supervisorctl
- 之后即可以在shell中操作 supervisord 管理的进程了
其他常见的命令有：
- supervisorctl status
- supervisorctl start appname
- supervisorctl restart appname
- supervisorctl stop appname
- supervisorctl stop all
- supervisorctl reload
如果修改了 /etc/supervisord.conf ,需要执行 supervisorctl reload 来重新加载配置文件，否则不会生效...
除了官网后，还有一篇blog也不错：Monitoring Processes with Supervisord
可以看到，supervisor上手是非常简单易用的，虽然目前我只使用了supervisor的监控子进程 & 自动重启的功能，但也足以保证这次数据处理过程的平稳运行。