找出进程消失的“案发现场”

• 问题来源：

  Kafka服务出现访问异常

• 问题分析：

  查看Broker日志，JVM进程在没有任何异常的情况下，直接被调用shutdownhook，退出应用。
  从Kafka服务来看，无法确诊问题。

  通常此类状态是由于OS中运行的监控管理进程或者其他服务发送kill信号将进程杀掉。如果能够找出发送信号的进程，就可以进 一步分析原因。那么如何查找出“罪魁祸首”？

• 查找“罪魁祸首”

  The Linux Audit Subsystem is a system to Collect information regarding events occurring on the system(s) 。借助OS审计日志可以找出是否有其他进程，什么进程，什么时候对Kafka的Broker进程发送什么信号导致Kafka的Broker进程退出。那么该如何操作呢？

  1. 首先确保审计服务正常

     使用 service auditd status 查看审计服务的运行情况
     如果运行异常，可使用service auditd restart 重启服务

  2. 在审计服务中添加审计kill操作的审计规则
     auditctl -a exit,always -F arch=b64 -S kill -S tkill -S tgkill -F a1!=0 -k my_temporary_kill_audit
     添加完毕后，可以使用auditctl -l命令查看是否添加成功

      [root@yj01 ~]# auditctl -l
      No rules
      [root@yj01 ~]# auditctl -a exit,always -F arch=b64 -S kill -S tkill -S tgkill -F a1!=0 -k my_temporary_kill_audit
      [root@yj01 ~]# auditctl -l
      -a always,exit -F arch=b64 -S kill,tkill,tgkill -F a1!=0x0 -F key=my_temporary_kill_audit
     

  3. 使用脚本kill掉进程以便测试

      [root@yj01 ~]# cat kill_test.sh 
      #!/bin/bash
      p=`ps -ef | grep kafka.Kafka | grep -v grep | awk '{print $2}'`
      echo "kill ing kafka process $p"
      kill -9  $p
      echo $$
      echo "killed"
     

  4. 测试审计日志信息

     1. 在kafka的broker进程所在节点运行test.sh，打印如下：

         [root@yj01 ~]# date
         Mon Jan 28 10:55:46 CST 2019
         [root@yj01 ~]# sh kill_test.sh 
         kill ing kafka process 687802
         688289
         killed
         [root@yj01 ~]# date
         Mon Jan 28 10:55:50 CST 2019
        

     2. 查看审计日志记录的kill信息

        使用命令ausearch -k my_temporary_kill_audit

        audit_kill

        查看审计日志,如下可以看出，被kill的进程为687802，与上述日志打印的kafka进程号一致。起16进制为a7eba，与SYSCALl中中的a0一致，起a1表示接收到的为-9，即表示使用“kill -9”命令杀掉的kafka，Broker进程。而执行kill命令的进程为pid为688289，与上述脚本中打印的命令一致。如上信息可以说明是执行的kill_test.sh脚本杀掉了Kafka的broker进程。