记一次linux服务器磁盘空间占满的问题排查

问题：

服务器安装后两天，发现磁盘空间使用满了【date: write error: No space left on device】

问题排查：

1、使用df -hl命令查看

2、使用du -hl --max-depth=1，从根目录开始查起，最后发现，磁盘的空间全部被

/var/lib/docker/overlay2 目录使用完了（docker的服务使用目录）。

通过对比正常环境的相同目录，发现和问题环境中的查询大小没有什么区别，因此考虑是不是空间释放的问题。

lsof|grep deleted 命令进行查看，发现有很多python代码的相关记录，如下图红框中:

统计了下条数，有二十多万条

3、使用kill -9 7560 杀掉对应的进程，再查看下系统盘的空间，显示正常了

查看Log/common.log日志，发现里面连接redis服务失败，一直在重连（每秒钟很多次）

解决方法：

修改了模块中的代码 处理方法，在尝试重连间隔中休眠几秒，最后验证问题解决。