Linux 使用 monit 监控程序运行

Linux 使用 monit 监控程序运行

  • 1. 测试环境
  • 2. 安装软件
  • 3. monit配置文件
  • 4. monit服务启动与停止
  • 5. 关闭或开启开机自启动
  • 6. 查看monit的日志
  • 7. 如何监控自己的程序(当看门狗使用)
    • (1) 待监控的程序示例
    • (2) 检查程序运行状态的脚本
    • (3) 启动程序的脚本
    • (4) 修改配置文件
    • (5) 报错解决
    • (6) bug
    • (7) 其他提醒
  • 8. 其他类似monit的程序
  • 9. 关于monit的参考链接

1. 测试环境

Ubuntu 18.04
内核:55.0.0.36-generic

2. 安装软件

apt-get install monit
该程序会开机自动运行。
该程序帮助文档:
https://mmonit.com/monit/documentation/monit.html

3. monit配置文件

vim /etc/monit/monitrc
第19行左右:
set daemon 120
这里默认是120s,表示每120秒检查一下被监视的程序状态。可以改小一点。例如,改成6啥的。
启用web服务,在第159行左右:

    set httpd port 2812
	use address localhost
	allow localhost
	allow admin:monit

至少去掉上面四行注释。这样,启动服务后,它会自动在后台运行http服务,显示各程序状态。这里是默认配置,即在浏览器打开 localhost:2812 就可以访问,而登录时,账号是admin,密码是monit

4. monit服务启动与停止

每次修改完配置文件后,若要新配置生效,必须重启monit服务。
重启命令:systemctl restart monit
停止命令:systemctl stop monit
启动命令:systemctl start monit
查看当前服务状态:systemctl status monit
如果启动后,报错,提示不能启动,往往是配置文件写错了。使用查看当前服务状态命令,可以看到是哪里写错了。
注意:此服务会开机自启动。

5. 关闭或开启开机自启动

关闭开机自启动:systemctl disable monit
开启开机自启动:systemctl enable monit
注:当程序正在后台运行时,关闭开机自启动操作,并不会关闭在后台运行的那个进程。

6. 查看monit的日志

默认日志存放位置为/var/log/monit.log,此位置似乎可在上述配置文件中配置。

7. 如何监控自己的程序(当看门狗使用)

此处为示例。
需求:有一个待监视的程序,需要保证它一直在执行,不论是正常退出,还是出现segmentation fault 等情况导致退出,需要将其重启。
思路:写一个脚本,检查程序是否还在,不在就启动它。然后利用monit定时执行的功能,定时调用这个脚本进行检查即可。

(1) 待监控的程序示例

该示例程序如下:
程序名 Watched.cpp

#include 
#include 
using namespace std;

#include 
#include 
#include 

void raiseSegmentationFault(void)
{
     
    cout << "Segmentation Fault Exit." << endl;
    int *p = 0; // emtpy pointer.
    *p = 0;
}

int main()
{
     
    cout << "Start Watched..." << endl;

    srand(time(NULL));
    int a = rand();
    bool raiseFlag = a % 2 == 0;
    if (raiseFlag)
    {
     
        cout << "It will raise a segmentation fault after sleep." << endl;
    }
    else
    {
     
        cout << "It will normal exit after sleep." << endl;
    }

    int t = 10;
    while (t--)
    {
     
        cout << "Sleep " << t << "s" << endl;
        sleep(t);
    }
    
    if (raiseFlag)
    {
     
        // raise segment fault by random.
        raiseSegmentationFault();
    }
    cout << "Normal Exit." << endl;
    return 0;
}

该程序说明:此程序大约会在45秒后自动退出。但通过随机数控制,退出时状态有两种,每次退出时,各有一半概率选中,一种是正常执行完毕而退出,另一种是segmentation fault(通过操作空指针引发的异常)退出。
现在需要此程序需要一直在运行,不论是正常退出,还是segmentation fault 引起的退出,都应该将其再次启动。
使用g++正常编译此程序即可,例如 g++ Watched.cpp -o Watched.out。
假设编译后文件名为Watched.out
文件存放路径为:/home/hehe/Desktop/project/Watched/
/home/hehe/Desktop/project/Watched/ 目录结构如下:

  1. Watched.cpp
  2. Watched.out

(2) 检查程序运行状态的脚本

该脚本即是检查程序是否还在,不在就启动它。
该脚本如下:
脚本名 check.sh

#! /bin/bash 

Check_String="Watched.out"

Exclude_String="check.sh" 

Restart_Command="/bin/bash /home/hehe/Desktop/project/Watched/start.sh"

PROCESS=$(ps -ajx | grep $Check_String | grep -v grep | grep -v $Exclude_String)

# echo $PROCESS
if [ -n "$PROCESS" ];
then
	echo "Still Runing..."
else
	echo "Try Restart..."
	$Restart_Command
fi;

该脚本说明,利用ps命令查询进程,并通过grep命令查询指定字串代表的Watched.out程序是否存在。如果存在,则不进行操作。如果不存在,认为Watched.out程序已退出,则进行启动操作,请注意,脚本有超时执行时间,因此,检查完后,脚本必须退出。
记得使用 chmod +x check.sh 加执行权限。
文件存放路径为:/home/hehe/Desktop/project/Watched/
/home/hehe/Desktop/project/Watched/ 目录结构如下:

  1. Watched.cpp
  2. Watched.out
  3. check.sh

注:monit 是有root权限的,似乎该脚本及其启动的程序也会获得权限。

(3) 启动程序的脚本

在check.sh中,如果没有查到程序在启动,则需要启动它,此处是通过执行start.sh脚本使其启动,请注意,脚本启动程序后,该脚本必须退出,否则会导致check.sh无法退出。
该脚本名:start.sh

#! /bin/bash -x
export DISPLAY=:0.0
cd /home/hehe/Desktop/project/Watched
#sudo gnome-terminal -- bash -c "./Watched.out;exec bash;"
sudo gnome-terminal -- bash -c "./Watched.out;"

该脚本说明,首先进入到相应的目录,然后新建一个终端,在终端中执行命令“./Watched.out;”,该脚本在新建终端后会自动退出,而终端会一直存在,直到Watched.out退出后退出,但如果后面加上“exec bash;”,则这个新终端在Watched.out退出后不会自动退出。
记得使用 chmod +x start.sh 加执行权限。
文件存放路径为:/home/hehe/Desktop/project/Watched/
/home/hehe/Desktop/project/Watched/ 目录结构如下:

  1. Watched.cpp
  2. Watched.out
  3. check.sh
  4. start.sh

(4) 修改配置文件

vim /etc/monit/monitrc
参照第299行左右的写法,在文件中,加入如下两行语句。

check program Watched with path /home/hehe/Desktop/project/Watched/check.sh timeout 5 seconds

if status != 0 then alert

配置说明:
program Watched,这个Watched是表示名字,在不冲突的情况,可以任意起名。后续在web页面上,看到的就是这个名字。
path /home/hehe/Desktop/project/Watched/check.sh 这个路径即是每次要执行的文件。
timeout 5 seconds,如果check.sh执行了5s还没有执行完,则强行中断check.sh。注意,这个时间不能配置为负数。如果配置为0了,那就基本等于每次检查时都要中断它了。
if status != 0 then alert,必须要配置这样一句类似话,否则命令不完整。该句的status 是上一条shell命令退出的状态码,这里即是check.sh执行的结果。
关于status说明,见其他博客,如 https://blog.csdn.net/wlovh1989/article/details/51113488/
还有,可在第19行左右,把每次检查的时间改小一点,例如改成6秒
set daemon 6
在Web界面查看。
默认web界面网址是:localhost:2812。进入后,输入默认账号admin,和密码monic
即可看到。

(5) 报错解决

可能会报如下错误。
Unable to init server: Could not connect Connection refused Restart… # Failed to parse arguments: Cannot open display.
目前,发现是那句新建终端有问题。即用户没有图形化界面,但尝试去新建一个图形化的终端。
修改方法
第一步,设置环境变量。
export DISPLAY=:0.0
这句可加在start.sh脚本执行新建终端命令之前。
第二步,
需要在终端执行一次这个命令,允许 本机(这里只允许了local) 其它无图形界面的用户,连接当前图形界面。该命令关机后失效。
xhost + local:
若要实现开机就能有这个功能,可以写到开机自启动文件中去。例如/etc/profile文件。
若要关闭,使用xhost -即可。
更多与该问题有关的内容,请参见:
https://www.x.org/archive/X11R6.8.1/doc/xhost.1.html
https://www.cnblogs.com/js1314/p/10373332.html
https://blog.csdn.net/u011728480/article/details/66974510
https://www.x.org/archive/X11R6.8.1/doc/xhost.1.html

(6) bug

在测试时,发现这个Watched.out程序启动后,有时候不会退出,不知道是什么鬼问题。定时函数出问题了?在没有关闭Watched.out时,重启monit后,会有一定几率观察到Watched.out一直都没有执行完。

(7) 其他提醒

请仔细检查自己的check.sh等脚本程序,并且在本地充分测试,以防不对。
可以在配置文件第20行左右的位置,改成

set daemon 6 
	with start delay 50

即,启动或重启monit后,第一次会延迟50s后再检查(可防止开机后立即执行造成问题),不开这个选项,会启动monit后,立即检查。然后是每6s定时检查一次。
经测试,那个web服务可以不开,不影响监控程序。但在测试脚本时,开启web服务比较方便。

8. 其他类似monit的程序

linux有crond的守护程序,但似乎只能精确到分。
其他的解决方案,如下文记录的
https://www.cnblogs.com/Hackerman/p/3930505.html
https://www.cnblogs.com/Hackerman/p/3932058.html

9. 关于monit的参考链接

monit 官方手册
https://www.cnblogs.com/jinjiangongzuoshi/p/3702752.html
https://blog.csdn.net/weixin_33859504/article/details/92009871
https://www.cnblogs.com/kevingrace/p/6322324.html

你可能感兴趣的:(Ubuntu学习之旅,实用工具)