一般在 web 应用部署到线上后,需要保证应用一直处于运行状态,在遇到程序异常、报错等情况,导致 web 应用终止时,需要保证程序可以立刻重启,继续提供服务。所以,就需要一个工具,时刻监控 web 应用的运行情况,管理该进程。Supervisor 就是解决这种需求的工具,可以保证程序崩溃后,重新把程序启动起来等功能。
Supervisor 是一个用 Python 写的进程管理工具,可以很方便的用来在 UNIX-like 系统(不支持 Windows)下启动、重启(自动重启程序)、关闭进程(不仅仅是 Python 进程)。同样,它也不仅仅是监控web,还能对python的一切脚本起着重启的作用。
# ubuntu安装:
sudo apt-get install supervisor
# centos安装
yum install -y supervisor
# 基于python库安装
pip install supervisor
# pip2 install supervisor # easy_install supervisor
这里安装方式推荐的是直接用yum或者apt,因为pip的未知情况太多,不论是版本还是虚拟环境都有可能出现偏差,然后出现找不到路径,在命令行无法输入命令,如果直接使用apt和yum,也为后面减少了软连接还是环境变量的必要,并且直接加入系统的开机自启动,可谓是很香了,我第一次的pip安装遇到很多问题,最后还是uninstall弃坑。
在root管理员下安装成功后,会在/etc/目录下产生一个conf文件,还有一个supervisor.d目录,一般是 /etc/supervisord.conf
和 /etc/supervisord.d/
, 另外可以查看是否安装成功,查看进程号:
pgrep supervisord
若出现随机进程号则表示已经启动并安装成功。那么可以修改/etc/supervisord.conf
配置了,主配置文件需要改动http登录的账户密码,和最后的include:
;[inet_http_server] ;HTTP服务器,提供web管理界面
;port=127.0.0.1:9001 ;Web管理后台运行的IP和端口,如果开放到公网,需要注意安全性
;username=user ;登录管理后台的用户名
;password=123 ;登录管理后台的密码
......
;包含其它配置文件
[include]
files = /etc/supervisord.d//*.conf ;可以指定一个或多个以.ini结束的配置文件
更多关于主配置文件的设置参数信息可以看这篇博文:Supervisor使用详解
我习惯性的会将user和password改了,并修改端口为0.0.0.0,因为有时候对于防火墙或者映射来讲,127还是无法在外网访问。然后就是include下我们真正需要加载进来的配置项test.conf,下面是我之前测试web时写的配置:
[program:celery]
# 进入工作目录
directory=/home/program/django_manager
# 加载虚拟环境
environment=PATH="/root/anaconda3/envs/pytest"
# 执行celery指令
command=python manager.py celery worker -l info
# 在 supervisord 启动的时候也自动启动
autorestart=true
# 日志级别,默认info,其它: debug,warn,trace
loglevel=info
# 如果是true,则进程的stderr输出被发送回其stdout文件描述符上的supervisord
redirect_stderr=true
# 打印日志记录位置
stdout_logfile=/home/program/django_manager/log/celery.log
因为celery只是为了开启定时任务,还没有到很复杂的多进程,而下面的日志是我想记录本篇的一个原因,也是多进程下的配置:
[program:shijian]
#脚本目录
environment=FFMPEGPATH="/usr/local/ffmpeg/bin"
environment=PATH="/root/anaconda3/envs/py36_kt/bin"
directory=/home/program/new_videoana
#脚本执行命令
command=python /home/program/new_videoana/detect_q.py
#supervisor启动的时候是否随着同时启动,默认True
autostart=true
#当程序exit的时候,这个program不会自动重启,默认unexpected,设置子进程挂掉后自动重启的情况,有三个选项,false,unexpected和true。如果为false的时候,无论什么情况下,都不会被重新启动,如果为unexpected,>只有当进程的退出码不在下面的exitcodes里面定义的
autorestart=false
#这个选项是子进程启动多少秒之后,此时状态如果是running,则我们认为启动成功了。默认值为1
startsecs=1
#脚本运行的用户身份
user = root
#关闭所有进程
stopasgroup=true
# 同上
killasgroup = true
#日志输出
stderr_logfile=/home/program/new_videoana/log/houtai/test_stderr.log
stdout_logfile=/home/program/new_videoana/log/houtai/test_stdout.log
#把stderr重定向到stdout,默认 false
redirect_stderr = true
#stdout日志文件大小,默认 50MB
# stdout_logfile_maxbytes = 20M
#stdout日志文件备份数
stdout_logfile_backups = 5
更多配置模板可以看官方链接:http://supervisord.org/configuration.html
如果是想用supervisor启动多进程应用,一定需要加上stopasgroup=true和killasgroup = true,否则很可能会出现僵尸进程的情况,而如果有额外需要注意的是environment只是对于python虚拟环境有用,对于其它需要调用的工具没有帮助,可以考虑再开一个[program:xxx],另外我也尝试了如下的三种方式,但作用都不大:
# 第一种
import sys
sys.path.append("xxxx")
# 第二种
import os
if "FFMPEGPATH" in os.environ.keys():
os.environ["FFMPEGPATH"]= test + ";" + os.environ["FFMPEGPATH"]
但最后好像没有什么用,其实不如开两个服务,最后从代码或者命令的角度好像都没有能解决,也有点多此一举了。
第一次启动命令为:
supervisord -c /etc/supervisord.conf
supervisor相关的使用命令如下:
# 查看进程状态
supervisorctl status
# 停止某一个进程,program_name 为 [program:x] 里的 x
supervisorctl stop program_name
# 启动某个进程
supervisorctl start program_name
# 重启某个进程
supervisorctl restart program_name
# 结束所有属于名为 groupworker 这个分组的进程 (start,restart 同理)
supervisorctl stop groupworker:
# 结束 groupworker:name1 这个进程 (start,restart 同理)
supervisorctl stop groupworker:name1
# 停止全部进程,注:start、restart、stop 都不会载入最新的配置文件
supervisorctl stop all
# 载入最新的配置文件,停止原有进程并按新的配置启动、管理所有进程
supervisorctl reload
# 根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启
supervisorctl update
而在第一次启动过程中会发生一些错误,比如:
unix:///tmp/supervisor.sock no such file
这个问题首先可以ps看看supervisor是否正在启动,有没有supervisord -c /etc/supervisor/supervisord.conf这个进程,有还会报这个错那可能需要修改一下Unix的文件目录
Unlinking stale socket /tmp/supervisor.sock
直接unlink /tmp/supervisor.sock,或者进/tmp/下将pid删了也能解决
如果supervisor没有启动,即/tmp/supervisor.log下没有看见启动日志,请先让其正常启动:
systemctl start supervisord.service //启动supervisor并加载默认配置文件
systemctl enable supervisord.service //将supervisor加入开机启动项