线上项目Nginx报错"no live upstreams while connecting to upstream"的原因分析

        一般Nginx报错“no live upstreams while connecting to upstream”，有以下几个原因： 

       1、Nginx配置文件错误，导致Nginx转发异常；

       2、转发的目的节点无法连接；

       3、目的节点运行的程序报错，导致无法连接。

       如果是上面几种情况导致的这种报错，一般都较好处理，重启程序，修改配置文件就可以解决。我遇到的情况是，docker中nginx运行正常，目的节点可以连接，通过内网访问目的节点程序也可以正常访问，但是通过域名确一直不能通过。第一反应是nginx出了问题，查看日志发现，nginx报两种错误，一个是“no live upstreams while connecting to upstream”，还有一个是“timeout”。各种现象均表现出nginx转发异常，但是通过回复初始配置文件、重启docker、重启目的主机程序，都无法解决。然后看一下数据库节点的资源占用情况，如果mysql节点负荷严重超标，CPU会占用非常大，top查看CPU占用正常。又尝试重启数据库，依然无法解决问题。这两天一直运行正常，没有修改过配置文件，为什么突然不可以了？想想会不会是资源占用累计到一定程度导致的，通过df -h查看mysql节点，发现数据存储磁盘占用100%。

                        

       通过数据库插入数据显示无法插入，那这应该是问题所在了，程序写入数据库失败，只提供查询，导致Nginx转发时候的数据库写入操作无法执行，链接被拒。那先清理部分日志数据，先恢复运行再说。这时发现删数据也是不允许的，所有update操作也被禁止。

       最终解决方法：停止所有服务，断开链接，重启数据库，这时可以删除数据了。清掉部分数据后查看磁盘占用为91%，这时启动所有服务，恢复正常运行。