supervisor的安装部署及集群管理

supervisor官网：http://www.supervisord.org/

参考链接：

http://blog.csdn.net/xyang81/article/details/51555473

https://www.cnblogs.com/smail-bao/p/5673434.html

1，介绍

Supervisor是一个进程管理工具，就是有一个进程需要每时每刻不断的运行，但是这个进程又有可能由于各种原因有可能停止运行。当进程停止运行的时候我们希望能自动重新启动，Supervisor就可以帮我们实现。Supervisor是用Python开发的，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确获取子进程挂掉的信息的，可以选择是否自己启动和报警。supervisor还提供了一个功能，可以为supervisord或者每个子进程，设置一个非root的user，这个user就可以管理它对应的进程。

supervisor的命令主要有：

supervisord : supervisor的服务器端部分，启动supervisor就是运行这个命令

supervisorctl：启动supervisor的命令行窗口。

2.安装

第一种方法：

pip install  supervisor

pip的安装

cat  pip_an.sh 
#!/bin/bash
wget http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz
tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py build
python setup.py install
wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa33326"
tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py install

 

第二种

yum install python-setuptools
easy_install supervisor

第三种

wget https://pypi.python.org/packages/source/s/supervisor/supervisor-3.1.3.tar.gz
tar zxvf supervisor-3.1.3.tar.gz
cd supervisor
python setup.py install

第四种

easy_install supervisor
yum install -y epel-release
yum install -y python-pip
pip install supervisor
yum install supervisor

3.测试

#测试是否安装成功
echo_supervisord_conf

#创建配置文件
echo_supervisord_conf > /etc/supervisord.conf

4.配置文件讲解

 [root@centos-011 ~ 07:50:00]#cat /etc/supervisord.conf.bak
  ; Sample supervisor config file.
    
  [unix_http_server]
  file=/var/run/supervisor/supervisor.sock   ; socket 路径
   
  ;chmod=0700                 ; socket 文件的权限
  ;chown=nobody:nogroup       ; socket 所属用户及组
  ;username=user              ; 用户名
  ;password=123               ; 密码
    
  ;[inet_http_server]         ; 是否启用服务，默认是关闭的（启用的话可以看到supervisor 管理的服务状态）
  ;port=127.0.0.1:9001        ; 监听的IP及端口
  ;username=user              ; 用户名
  ;password=123               ; 密码
    
  [supervisord]               ; supervisord 全局配置
  logfile=/var/log/supervisor/supervisord.log  ; supervisor 日志路径
  logfile_maxbytes=50MB       ; 单个日志文件最大数
  logfile_backups=10          ; 保留多少个日志文件（默认10个）
  loglevel=info               ; (log level;default info; others: debug,warn,trace)
  pidfile=/var/run/supervisord.pid ; pid 文件路径
  nodaemon=false              ; 启动是否丢到前台，设置为false ，表示以daemon 的方式启动
  minfds=1024                 ; 最小文件打开数，对应系统limit.conf 中的nofile ,默认最小为1024，最大为4096
  minprocs=200                ; 最小的进程打开数，对应系统的limit.conf 中的nproc,默认为200
  ;umask=022                  ; (process file creation umask;default 022)
  ;user=chrism                 ; 启动supervisord 服务的用户，默认为root
  ;identifier=supervisor       ; (supervisord identifier, default is 'supervisor')
  ;directory=/tmp              ; 这里的目录指的是服务的工作目录
  ;nocleanup=true              ; (don't clean up tempfiles at start;default false)
  ;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
  ;environment=KEY=value       ; (key value pairs to add to environment)
  ;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)
   
  ; the below section must remain in the config file for RPC
  ; (supervisorctl/web interface) to work, additional interfaces may be
  ; added by defining them in separate rpcinterface: sections
  [rpcinterface:supervisor]
  supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
   
  [supervisorctl]
  serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket
  ;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
  ;username=chris              ; should be same as http_username if set
  ;password=123                ; should be same as http_password if set
  ;prompt=mysupervisor         ; cmd line prompt (default "supervisor")
  ;history_file=~/.sc_history  ; use readline history if available
   
  ; The below sample program section shows all possible program subsection values,
  ; create one or more 'real' program: sections to be able to control them under
  ; supervisor.
   
  ;[program:theprogramname]      ; 定义一个守护进程 ，比如下面的elasticsearch 
  ;command=/bin/cat              ; 启动程序使用的命令，可以是绝对路径或者相对路径
  ;process_name=%(program_name)s ; 一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)s
  ;numprocs=1                    ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1
  ;directory=/tmp                ; supervisord在生成子进程的时候会切换到该目录
  ;umask=022                     ; umask for process (default None)
  ;priority=999                  ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999
  ;autostart=true                ; 如果设置为true，当supervisord启动的时候，进程会自动启动
  ;autorestart=true              ; 设置为随 supervisord 重启而重启，值可以是false、true、unexpected。false：进程不会自动重启
  ;startsecs=10                  ; 程序启动后等待多长时间后才认为程序启动成功，默认是10秒
  ;startretries=3                ; supervisord尝试启动一个程序时尝试的次数。默认是3
  ;exitcodes=0,2                 ; 一个预期的退出返回码，默认是0,2。
  ;stopsignal=QUIT               ; 当收到stop请求的时候，发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2
  ;stopwaitsecs=10               ; 在操作系统给supervisord发送SIGCHILD信号时等待的时间
  ;user=chrism                   ; 如果supervisord以root运行，则会使用这个设置用户启动子程序
  ;redirect_stderr=true          ; 如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符
  ;stdout_logfile=/a/path        ; 把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置
  ;stdout_logfile_maxbytes=1MB   ; 标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
  ;stdout_logfile_backups=10     ; 标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份
  ;stdout_capture_maxbytes=1MB   ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
  ;stdout_events_enabled=false   ; 如果设置为true，当进程在写它的stderr
  ;stderr_logfile=/a/path        ; 把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true
  ;stderr_logfile_maxbytes=1MB   ; 错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小
  ;stderr_logfile_backups=10     ; 错误日志轮转备份的数量，默认是10，如果设置为0，则不备份
  ;stderr_capture_maxbytes=1MB   ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB
  ;stderr_events_enabled=false   ; 如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发
  ;environment=A=1,B=2           ; 一个k/v对的list列表
  ;serverurl=AUTO                ; 是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url
    
  ; The below sample eventlistener section shows all possible
  ; eventlistener subsection values, create one or more 'real'
  ; eventlistener: sections to be able to handle event notifications
  ; sent by supervisor.
   #这个地方是自定义一个守护进程
  [program:elasticsearch]                       ; 定义一个守护进程 elasticsearch
  environment=ES_HOME=/usr/local/elasticsearch  ; 设置ES_HOME 环境变量
  user=elk                                      ; 启动elasticsearch 的用户
  directory=/usr/local/elasticsearch            ; 进入到这个目录中
  command=/usr/local/elasticsearch/bin/elasticsearch ; 执行启动命令
  numprocs=1                                    ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1
  autostart=true                                ; 设置为随 supervisord 启动而启动
  autorestart=true                              ; 设置为随 supervisord 重启而重启
  startretries=3                                ; 设置elasticsearch 重启的重试次数
  priority=1                                    ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999  
    
  ;[eventlistener:theeventlistenername]
  ;command=/bin/eventlistener    ; the program (relative uses PATH, can take args)
  ;process_name=%(program_name)s ; process_name expr (default %(program_name)s)
  ;numprocs=1                    ; number of processes copies to start (def 1)
  ;events=EVENT                  ; event notif. types to subscribe to (req'd)
  ;buffer_size=10                ; event buffer queue size (default 10)
  ;directory=/tmp                ; directory to cwd to before exec (def no cwd)
  ;umask=022                     ; umask for process (default None)
  ;priority=-1                   ; the relative start priority (default -1)
  ;autostart=true                ; start at supervisord start (default: true)
  ;autorestart=unexpected        ; restart at unexpected quit (default: unexpected)
  ;startsecs=10                  ; number of secs prog must stay running (def. 1)
  ;startretries=3                ; max # of serial start failures (default 3)
  ;exitcodes=0,2                 ; 'expected' exit codes for process (default 0,2)
  ;stopsignal=QUIT               ; signal used to kill process (default TERM)
  ;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
  ;user=chrism                   ; setuid to this UNIX account to run the program
  ;redirect_stderr=true          ; redirect proc stderr to stdout (default false)
  ;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
  ;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
  ;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
  ;stdout_events_enabled=false   ; emit events on stdout writes (default false)
  ;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
  ;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
  ;stderr_logfile_backups        ; # of stderr logfile backups (default 10)
  ;stderr_events_enabled=false   ; emit events on stderr writes (default false)
  ;environment=A=1,B=2           ; process environment additions
  ;serverurl=AUTO                ; override serverurl computation (childutils)
   
  ; The below sample group section shows all possible group values,
  ; create one or more 'real' group: sections to create "heterogeneous"
  ; process groups.
    
  ;[group:thegroupname]          ; 服务组管理，可以将多个服务名写到这里管理(组名自定义）
  ;programs=progname1,progname2  ; 上面配置好的服务名，比如elasticsearch,kibana,logstash
  ;priority=999                  ; the relative start priority (default 999)
    
  ; The [include] section can just contain the "files" setting.  This
  ; setting can list multiple files (separated by whitespace or
  ; newlines).  It can also contain wildcards.  The filenames are
  ; interpreted as relative to this file.  Included files *cannot*
  ; include files themselves.
   
  [include]
  files = supervisord.d/*.ini

5.web界面配置

需要在supervisor的配置文件里添加[inet_http_server]选项组：之后可以通过http://ip:9001来访问控制子线程的管理。

[inet_http_server]
port=159.45.67.89:9001
username=user
password=123

6.配置管理进程

进程管理配置参数，不建议全都写在supervisord.conf文件中，应该每个进程写一个配置文件放在include指定的目录下包含进supervisord.conf文件中。 
1> 创建/etc/supervisor/config.d目录，用于存放进程管理的配置文件 
2> 修改/etc/supervisor/supervisord.conf中的include参数，将/etc/supervisor/conf.d目录添加到include中

[include]
files = /etc/supervisor/config.d/*.ini

下面是配置Tomcat进程的一个例子：

[program:tomcat]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
autostart=true
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true

具体配置说明参考如下：

#项目名
[program:blog]
#脚本目录
directory=/opt/bin
#脚本执行命令
command=/usr/bin/python /opt/bin/test.py
#supervisor启动的时候是否随着同时启动，默认True
autostart=true
#当程序exit的时候，这个program不会自动重启,默认unexpected
#设置子进程挂掉后自动重启的情况，有三个选项，false,unexpected和true。如果为false的时候，无论什么情况下，都不会被重新启动，如果为unexpected，只有当进程的退出码不在下面的exitcodes里面定义的
autorestart=false
#这个选项是子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了。默认值为1
startsecs=1
#日志输出 
stderr_logfile=/tmp/blog_stderr.log 
stdout_logfile=/tmp/blog_stdout.log 
#脚本运行的用户身份 
user = zhoujy 
#把 stderr 重定向到 stdout，默认 false
redirect_stderr = true
#stdout 日志文件大小，默认 50MB
stdout_logfile_maxbytes = 20M
#stdout 日志文件备份数
stdout_logfile_backups = 20

 

7.启动Supervisor服务

supervisord -c /etc/supervisor/supervisord.conf

8.控制进程

8.1 交互终端

supervisord启动成功后，可以通过supervisorctl客户端控制进程，启动、停止、重启。运行supervisorctl命令，不加参数，会进入supervisor客户端的交互终端，并会列出当前所管理的所有进程。 

 

上图中的tomcat就是我们在配置文件中[program:tomcat]指定的名字。

stop tomcat // 表示停止tomcat进程

stop all // 表示停止所有进程

// ...

8.2 bash终端

supervisorctl status
supervisorctl stop tomcat
supervisorctl start tomcat
supervisorctl restart tomcat
supervisorctl reread
supervisorctl update

8.3 Web管理界面

1.浏览器输入http://ip:9001访问

 

2.supervisor的最终界面如下

9.开机启动Supervisor服务

9.1 配置systemctl服务

1> 进入/lib/systemd/system目录，并创建supervisord.service文件

[Unit]
Description=supervisor
After=network.target

[Service]
Type=forking
ExecStart=/usr/bin/supervisord -c /etc/supervisor/supervisord.conf
ExecStop=/usr/bin/supervisorctl $OPTIONS shutdown
ExecReload=/usr/bin/supervisorctl $OPTIONS reload
KillMode=process
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

2> 设置开机启动

systemctl daemon-reload
systemctl enable supervisord.service

3> 修改文件权限为766

chmod 766 supervisord.service

9.2 配置service类型服务

#!/bin/bash
#
# supervisord   This scripts turns supervisord on
#
# Author:       Mike McGrath  (based off yumupdatesd)
#
# chkconfig:    - 95 04
#
# description:  supervisor is a process control utility.  It has a web based
#               xmlrpc interface as well as a few other nifty features.
# processname:  supervisord
# config: /etc/supervisor/supervisord.conf
# pidfile: /var/run/supervisord.pid
#

# source function library
. /etc/rc.d/init.d/functions

RETVAL=0

start() {
    echo -n $"Starting supervisord: "
    daemon "supervisord -c /etc/supervisor/supervisord.conf "
    RETVAL=$?
    echo
    [ $RETVAL -eq 0 ] && touch /var/lock/subsys/supervisord
}

stop() {
    echo -n $"Stopping supervisord: "
    killproc supervisord
    echo
    [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/supervisord
}

restart() {
    stop
    start
}

case "$1" in
  start)
    start
    ;;
  stop) 
    stop
    ;;
  restart|force-reload|reload)
    restart
    ;;
  condrestart)
    [ -f /var/lock/subsys/supervisord ] && restart
    ;;
  status)
    status supervisord
    RETVAL=$?
    ;;
  *)
    echo $"Usage: $0 {start|stop|status|restart|reload|force-reload|condrestart}"
    exit 1
esac

exit $RETVAL
将上述脚本内容保存到/etc/rc.d/init.d/supervisor文件中，修改文件权限为755，并设置开机启动

chmod 755 /etc/rc.d/init.d/supervisord
chkconfig supervisor on

注意：

Supervisor只能管理非daemon的进程，也就是说Supervisor不能管理守护进程。否则提示Exited too quickly (process log may have details)异常。例子中的Tomcat默认是以守护进程启动的，所以我们改成了catalina.sh run，以前台进程的方式运行。 

10. 集群管理

supervisor不支持跨机器的进程监控，一个supervisord只能监控本机上的程序，大大限制了supervisor的使用。

不过由于supervisor本身支持xml-rpc，因此也有一些基于supervisor二次开发的多机器进程管理工具。比如：

• Django-Dashvisor
• Web-based dashboard written in Python. Requires Django 1.3 or 1.4.
• Nodervisor
  Web-based dashboard written in Node.js.
• Supervisord-Monitor
  Web-based dashboard written in PHP.
• SupervisorUI
  Another Web-based dashboard written in PHP.
• cesi
  cesi is a web interface provides manage supervizors from same interface.

10.1使用cesi管理

原文：https://github.com/Gamegos/cesi/blob/master/README.md

（1）安装依赖

yum install -y sqlite3 python python-flask

（2）从github中clone

cd /opt
git clone https://github.com/Gamegos/cesi

（3）安装

python setup.py build
python setup.py install

（4）导入数据库

mkdir path/to -p
sqlite3 path/to/userinfo.db < userinfo.sql

（5）复制配置文件

cp cesi.conf /etc/cesi.conf

（6）修改配置文件

vim /etc/cesi.conf
[node:local]
username = user
password = 123
host = xxxx.xxxx.xxxx.xxx
port = 9001

;[node:]
;username = 
;password = 
;host = 
;port = 

;[environment:]
;members = , 

[cesi]
database = /opt/cesi/path/to/userinfo.db
activity_log = /opt/cesi/cesi.log
host = xxxx.xxxx.xxxx.xxxx

(8)启动并访问

cd /opt/cesi/cesi
python web.py
地址：http://ip:5000
Username : admin
Password : admin

新版本安装方法：

Install Dependencies For Cesi Api

$ # On Ubuntu [18.04, 16.04, 14.04]
$ sudo apt install -y git python3 python3-pip
$ # On Centos 7
$ sudo yum install -y git epel-release
$ sudo yum install -y python34 python34-pip
$ # On Fedora 28
$ sudo dnf install -y git python3 python3-pip

Install Cesi 

$ export CESI_SETUP_PATH=~/cesi
$ mkdir ${CESI_SETUP_PATH}
$ cd ${CESI_SETUP_PATH}

$ # Download the project to ~/cesi directory
$ wget https://github.com/gamegos/cesi/releases/download/v2.6.7/cesi-extended.tar.gz -O cesi.tar.gz
$ tar -xvf cesi.tar.gz

$ # Create virtual environment and install requirement packages
$ python3 -m venv venv
$ source venv/bin/activate
(venv) $ pip3 install -r requirements.txt

$ # Run with command line
(venv) $ python3 ${CESI_SETUP_PATH}/cesi/run.py --config-file ${CESI_SETUP_PATH}/defaults/cesi.conf.toml

Install Cesi as a service 

$ # If you want to change CESI_SETUP_PATH, you must change the configurations in the cesi.service file.
$ export CESI_SETUP_PATH=/opt/cesi
$ mkdir ${CESI_SETUP_PATH}
$ cd ${CESI_SETUP_PATH}

$ # Download the project to CESI_SETUP_PATH directory
$ wget https://github.com/gamegos/cesi/releases/download/v2.6.7/cesi-extended.tar.gz -O cesi.tar.gz
$ tar -xvf cesi.tar.gz

$ # Create virtual environment and install requirement packages
$ python3 -m venv venv
$ source venv/bin/activate
(venv) $ pip3 install -r requirements.txt
(venv) $ deactivate   # Deactivate virtual environment

$ # Build ui (First you must install dependencies for ui -> yarn) - Optional
$ cd ${CESI_SETUP_PATH}/cesi/ui
$ yarn install
$ yarn build

$ # Create cesi.conf.toml file and update cesi.conf.toml for your environment.
$ # Config file documentation can be found inside default file.
$ # (You must create cesi.conf in the etc directory for cesi.service)
$ sudo cp ${CESI_SETUP_PATH}/defaults/cesi.conf.toml /etc/cesi.conf.toml

$ # Run as a service
$ sudo cp ${CESI_SETUP_PATH}/defaults/cesi.service /etc/systemd/system/cesi.service
$ sudo systemctl daemon-reload
$ sudo systemctl start cesi

 

2.加入后台

安装screen：yum install -y screen
进入screen：screen
执行：python web.py
退出screen：按ctrl+a+d退出

3.最后的界面展示

cesi主界面

cesi repo上的示例效果：