记一次Docker主机根分区磁盘占满的事件

记一次Docker宿主机根分区磁盘占满的事件

环境信息：

• Docker版本：1.12.6
• 存储驱动：DeviceMapper
• 负载情况：仅运行一个Nginx容器，已经运行14 weeks

宿主机分区情况：根分区20G，全部被占满，/var/lib/docker/devicemapper/devicemapper占用7.2G空间

---

排查过程

1、使用以下命令查看，发现根分区已经全部被占满

df -h  

2、查看根分区只有12G大小（另外的8G去哪了？），并且没有大文件

du -h --max-depth=1 /

3、根据运维组同事的建议查看是否存在已删除但是没被释放的存储空间

lsof -n | grep deleted

以上命令结果显示，存在4个好几个G的大文件/var/log/nginx/debug.log，
联想到这个文件是在几个月前被删除了，并且也只有Nginx容器会产生这个日志文件，
并且该Nginx容器确实也挂在本地宿主机目录。

4、重启该Docker容器解决了

问题反思：1. 不能再Docker容器启动的时候删除其挂载的文件或目录。

---

问题反思：2. 使用Docker的存储驱动Devicemapper需要使用LVM卷，不能使用Loopfile本地文件方式