一个“脚本执行夯死”问题的分析

问题现象：

使用一个脚本命令分发执行的脚本，在执行时出现夯死，无法继续进行

[root@yj01 cluster]# sh clustercmd.sh "ls -l /tmp"

问题分析

• 于是使用脚本调试的方式，执行结果如下：

[root@yj01 cluster]# sh -x clustercmd.sh  "ls -l /tmp"
+ R_CMD='ls -l /tmp'
+ G_CURRENT_PATH=
+ G_LIB_SCRIPT=cluster_lib.sh
+ G_REMOTE_SCRIPT=remote.sh
+ G_CONF_FILE=cluster.ini
+ G_CONF_FILE_TMP=cluster.ini.tmp.645182
+ G_RESULT=0
+ G_HOSTS_ARRAY=()
+ G_PASSWDS_ARRAY=()
+ '[' /usr/bin/sh '!=' /bin/bash ']'
+ bash clustercmd.sh 'ls -l /tmp'

结果显示在执行bash clustercmd.sh 'ls -l /tmp'时，长时间夯死，不再继续进行。

• 继续使用strace命令查看脚本运行情况：

    [root@yj01 cluster]# strace  sh  clustercmd.sh  "ls -l /tmp"
    execve("/usr/bin/sh", ["sh", "clustercmd.sh", "ls -l /tmp"], [/* 32 vars */]) = 0
    brk(0)                                  = 0xa17000
    mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f0c603f0000
    ......
    rt_sigaction(SIGINT, {0x43e5e0, [], SA_RESTORER, 0x7f0c5fa16670}, {SIG_DFL, [], SA_RESTORER, 0x7f0c5fa16670}, 8) = 0
    
    // 在执行到此处时，较长时间夯住，后续抛出Can't allocate memory异常
    
    ****wait4(-1, clustercmd.sh: fork: Cannot allocate memory*****
  

此处表示，新fork出一个进程进行命令操作，在等待的过程中，抛出“Can't allocate memory”异常

• 查看OS内存情况以及最大进程数

    // OS的内存是充足的
    [root@yj01 cluster]# free -g
              total        used        free      shared  buff/cache   available
    Mem:             31           9          17           0           4          21
    Swap:             3           0           3
    // OS的最大进程数是充足的
    [root@yj01 cluster]# sysctl kernel.pid_max
    kernel.pid_max = 798720
    [root@yj01 cluster]# ps -eLf | wc -l
    711
    [root@yj01 cluster]# 
  

从OS信息来看，内存充足，进程数远远小于最大的限制. 因此怀疑在夯住的时间内，产生大量进程，os内存被大量占用，最后出现了上述中的“Cannot allocate memory”

• 再次执行 sh -x clustercmd.sh "ls -l /tmp" 同时查看OS的内存使用以及启动进程数

// os可用内存内存大量减少
[root@yj01 ~]# free -g
          total        used        free      shared  buff/cache   available
Mem:             31           9          17           0           4          21
Swap:             3           0           3
[root@yj01 ~]# free -g 
              total        used        free      shared  buff/cache   available
Mem:             31          10          16           0           4          20
Swap:             3           0           3
[root@yj01 ~]# free -g 
              total        used        free      shared  buff/cache   available
Mem:             31          12          14           0           4          18
Swap:             3           0           3

//进程被大量创建
[root@yj01 ~]# ps -eLf | wc -l
9984
[root@yj01 ~]# ps -eLf | wc -l
10452
[root@yj01 ~]# ps -eLf | wc -l
10981
[root@yj01 ~]# ps -eLf | wc -l
11463

于是怀疑脚本bug引发启动大量的进程将OS资源耗完，最后进程执行失败退出。

• 脚本分析

查看脚本可以看出脚本中强制使用bash来解析执行，但是在执行bash时可能使用到的不是/bin/bash从而导致程序进入死循环。

#!/bin/bash
....
if [ "$BASH" != "/bin/bash" ]; then
   bash $0 "$@"
   exit $?
fi

查看环境发现如下：

执行which bash 发现使用的是/usr/bin/bash
[root@yj01 cluster]# which bash
/usr/bin/bash
//查看环境变量发现 /usr/bin在/bin前面
[root@yj01 cluster]# echo $PATH
/usr/local/openssh-7.4p1/sbin:/usr/local/openssh-7.4p1/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/openssh-7.4p1/bin:/root/bin:/root/bin
[root@yj01 cluster]# 

可以看出在执行bash $0 "$@"时，使用的是/usr/bin/bash 因此程序进入死循环

解决方案

修改if判断条件if [ ${BASH:0-4} != "bash" ]; 只要执行的是bash命令，即可通过