Linux进程监控 + 钉钉通知

进程监控脚本

背景

启动于正式服务器的项目，有时会因为某种因素，例如docker内存超限因而容器崩溃（前不久就遇过...），如服务器内存不足或IO读写异常而崩溃....等等等等。而这些原因，都可能影响到项目的正常运行，严重地将会被kill掉。那么，在服务器上弄一套进程监控方案就很有必要了！

说明

进程监控采用shell脚本的形式，结合日常开发使用的CI工具（如Jenkins），再通过Linux服务器的定时器，定时监控进程，当进程被killed，服务自动重启。

进程：shell script
集成：Jenkins
打包：Jar

简单介绍Jenkins

Jenkins 是一个开源项目，提供了一种易于使用的持续集成系统，使开发者从繁杂的集成中解脱出来，专注于更为重要的业务逻辑实现上。同时 Jenkins 能实施监控集成中存在的错误，提供详细的日志文件和提醒功能，还能用图表的形式形象地展示项目构建的趋势和稳定性。

进入主题

注：install jenkins的过程暂不在本篇介绍，若有时间，会整理出来。

简单几句话带过：

jenkins新建一个需持续集成的maven项目，然后配置了从git拉取源码之后，通过执行shell脚本打包到Linux服务器运行。

流程

一、Jenkins shell脚本

示例

PROJECT=online_store
MOD=cms
PORT=9065
IP=xxx
ssh root@yyy sh -xe deploy-production.sh $PROJECT $JOB_NAME $MOD $PORT $IP

解析：
xxx：根据需要传该参数，如远程打包到不同服务器上，内网 or 公网，对传输都会有影响，涉及的东西与本篇侧重点不一样，故不作拓展

yyy：这个IP务必是 deploy-production.sh 脚本所在的服务器，至关重要，影响着打包及进程监控，可理解为Jenkins持续集成到Linux服务器的入口

二、Linux服务器执行的初始脚本

注：初始脚本，言下之意是Jenkins与Linux服务器交互的第一个脚本，其余操作包括监控都与初始脚本息息相关

由于是为公司持续集成写的脚本，涉及一些隐私，故不全贴出来，仅贴关键部分。

1、接收参数

PROJECT=$1
JOB=$2
MOD=$3
PORT=$4
IP=$5

2、主要流程代码根据企业需求不同而编写不同代码，关键执行代码如下：

nohup /usr/bin/java -jar -Dsun.jnu.encoding=UTF8 -Dfile.encoding=UTF8 -Dspring.profiles.active=production,swagger$MOD $JOB.jar >> /dev/null 2>&1 &

说明：可选择性开启swagger。

3、注意注意！！！监控代码执行语句...

sh ~/monitor_exec.sh $PROJECT $JOB $MOD $PORT

解析：显而易见，执行 monitor_exec.sh 脚本。

三、监控脚本的初始脚本

作用：将监控脚本写入定时器。

关键代码：

#!/bin/sh
PROJECT=$1
JOB=$2
MOD=$3
PORT=$4

mkdir -p ~/cron/
touch ~/cron/$PROJECT.cron
file=~/cron/$PROJECT.cron

echo 'cron path：'$file;

if test -s $file; then
  echo "cron文件内容不为空";
else
  echo "* * * * * sh /root/monitor.sh $PORT $PROJECT $MOD $JOB" >> ~/cron/$PROJECT.cron
  crontab ~/cron/$PROJECT.cron

解析：中间echo的cron path路径，会输出到Jenkins日志里。目的是将执行 monitor.sh 写入服务器定时任务。cron规则就不介绍了，自定义即可。

说明：监控脚本的执行过程，应该加上日志输出，这是好习惯，以便做记录！

四、重点：监控脚本

关键代码

#!/bin/sh
PID=`/usr/sbin/lsof -i:$1 | grep -E 'java|node' | awk '{print $2}'`
PROJECT=$2
MOD=$3
JOB=$4

mkdir -p ~/log
touch ~/log/$PROJECT.log

if test -z "$PID"
then
  echo '后台自启动' >> ~/log/$PROJECT.log

  nohup /usr/bin/java -jar -Dsun.jnu.encoding=UTF8 -Dfile.encoding=UTF8 -Dspring.profiles.active=test,swagger$MOD ~/$PROJECT/$JOB.jar >> /dev/null 2>&1 &

  sleep 5
  echo '启动成功！！！' >> ~/log/$PROJECT.log

else
  echo 'service has been started' >> ~/log/$PROJECT.log
fi

解析：Jar包会运行于服务器的一个端口上，与其同时也会对应一个进程号，以一定的时间规则去检查进程号是否存在，判断不在自启动即可，逻辑很简单。

拓展部分：集成钉钉通知

背景：进程被kill，若是企业开发人员想要知道被kill的原因，便会查看日志，而通知就很有必要了。由于所在企业使用钉钉工作，因此集成在钉钉机器人，可实时通知开发人员。

关键代码

echo '钉钉通知开始' >> ~/log/$PROJECT.log

curl 'https://oapi.dingtalk.com/robot/send?access_token= xxx ' \
   -H 'Content-Type: application/json' \
   -d '
  {"msgtype": "text",
    "text": {
        "content": "钉钉--- jiayuan 监控测试，killed port：'$1'，project：'$PROJECT' has been killed，已重启"
     }
  }'

  sleep 3
  echo '钉钉通知结束' >> ~/log/$PROJECT.log

说明：
xxx：填上对应钉钉机器人的access_token即可。

注：脚本现在还一直在迭代，为了让脚本更强大、更健壮，我也会一直持续地完善...

总结

好了，真真真好久没写博客了，最近有些许忙，虽然有好多好多新鲜玩意想写，但一直没机会分享！

本篇依旧介绍一直以来颇有兴趣的服务器部分，但架构一个更完善、更健壮的开发体系，还有很多很多东西要学...