NGINX + PHP-FPM 502

NGINX + PHP-FPM 报 502 错误，我想大部分 SA 都遇到过吧。
根据报错的频率，可以分为两种情况，间歇性的502和连续性的502。
这里只讨论第一种情况——间歇性的502。

502，是后端 PHP-FPM 不可用造成的，间歇性的502一般认为是由于 PHP-FPM 进程重启造成的。

在 PHP-FPM 的配置中存在这么一项：

How much requests each process should execute before respawn.
Useful to work around memory leaks in 3rd party libraries.
For endless request processing please specify 0
Equivalent to PHP_FCGI_MAX_REQUESTS
<value name=”max_requests”>500</value>

这段配置的意思是，当一个 PHP-CGI 进程处理的请求数累积到 500 个后，自动重启该进程。

但是为什么要重启进程呢？

一般在项目中，我们多多少少都会用到一些 PHP 的第三方库，这些第三方库经常存在内存泄漏问题，如果不定期重启 PHP-CGI 进程，势必造成内存使用量不断增长。因此 PHP-FPM 作为 PHP-CGI 的管理器，提供了这么一项监控功能，对请求达到指定次数的 PHP-CGI 进程进行重启，保证内存使用量不增长。

正是因为这个机制，在高并发的站点中，经常导致 502 错误，我猜测原因是 PHP-FPM 对从 NGINX 过来的请求队列没处理好。不过我目前用的还是 PHP 5.3.2，不知道在 PHP 5.3.3 中是否还存在这个问题。

目前我们的解决方法是，把这个值尽量设置大些，尽可能减少 PHP-CGI 重新 SPAWN 的次数，同时也能提高总体性能。在我们自己实际的生产环境中发现，内存泄漏并不明显，因此我们将这个值设置得非常大（204800）。大家要根据自己的实际情况设置这个值，不能盲目地加大。

1 首先查看一下目前php-fpm的进程数量

ps aux |grep php-fpm |grep -v grep |grep "^www"|wc -l

将输出结果与nginx.conf配置文件中的max_children参数做对比

如果两个值相近，那么就需要将max_children相应的增加

2 看一下nginx.conf配置文件中Nginx的等待时间的设置，可以相应增加

fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;

后来我将网站上一个shell脚本做了相应的修改：

主要是检测php-fpm进程的

脚本原则：
在检测到502报错之后，在干掉php-fpm进程之前先弄清楚一些东西：
统计子进程的数量是为了，判断一下是不是因为子进程的数量接近配置文件中max_children这个值的设置
如果这两个值很接近的话，说明排队的php请求比较多，处理请求过于繁忙也会导致502报错
统计CPU使用率最大的php-fpm进程所占用的CPU%，并记录相应的进程号，可以追踪进程号，做初步确定是否是 file_get_contents() 导致的问题
总之这些操作是有助于分析事发原因的
另外，如果killall进程之后不检测是否将进程杀干净，有可能会影响进程的重新启动，所以有必要进行这一步判断
如果运行该脚本的机器是在线服务器，那么当检测到进程没有杀干净时，最好报警或者是记录日志，尽量避免一直杀进程的操作

脚本内容：

#!/bin/bash
funCheck()
{
if [ -z "`ps aux |grep php-fpm |grep -v grep`" ];then
       if [ -z "`cat /usr/local/php/php-fpm.pid `" ];then 
       echo "php-fpm process doesn't exist ,you can start it now `date`" >> $Log
  else
    echo "php-fpm process  exists still  `date`" >> $Log  
  fi
fi
}

Log=/home/sysadmin/zhaoyj/log/PhpFpm.log
ChildProcess=`ps aux |grep php-fpm |grep -v grep |grep "^www"|wc -l`
DATE=`date "+%Y%m%d-%H:%M:%S"`
Message="MG Server php-fpm child process number is $ChildProcess at $DATE"
Admin="邮件地址"
if [ -e /var/lock/subsys/502 ]
then
 if [ $ChildProcess -ge 100 ];then 
   echo "$Message" |mail -s "$Message" $Admin
   echo "$Message" >> $Log
 fi

Record=``ps aux |grep php-fpm|grep -v grep |awk '{print $3"\t"$2"\t"$11}'|tr -d :|sort -nr|head -1`
CPU=`awk '{print $1}' $Record`
PID=`awk '{print $2}' $Record`
Result=`awk -v NUM1=$CPU -v NUM2=50 'BEGIN{print(NUM1>NUM2)?"1":"0"}'`
Message2="php-fpm child process CPU% is $Result"
   if [ $Result -eq 0 ];then
      echo "$Message2 ,normal now $DATE" >> $Log
    else
       echo "$Message2 ,not normal now $DATE" >> $Log
       echo "$Message2 ,not normal now $DATE" |mail -s "$Message2 ,not normal now $DATE" $Admin
   fi
 killall -9 curl 2>/dev/null
 killall -9 php-fpm 2>/dev/null
 funCheck
 service php-fpm start >/dev/null
 echo "[ `date +'%h %d %T'` ] PHP-FPM died with no response, all processes restarted">>/usr/local/php/log/php-fpm-restart.log
else
    touch /var/lock/subsys/502
    if [ `curl --connect-timeout 5 -I URL 2>/dev/null | grep '502 Bad Gateway' -c` != '0' ]
    then
        killall -9 php-fpm 2>/dev/null
  funCheck
        service php-fpm start >/dev/null
        echo "[ `date +'%h %d %T'` ] PHP-FPM died with 502 bad gateway, all processes restarted">>/usr/local/php/log/php-fpm-restart.log
    fi
    rm -f /var/lock/subsys/502
fi