k8s & docker空间使用分析与清理

目录

1. 前言

2. 常见问题场景

3. docker 磁盘空间使用分析及处理

4. 总结

---

1. 前言

使用 Docker 运行业务一段时间后，可能会出现宿主节点的磁盘容量占用高，导致宿主机磁盘空间不足等异常，对业务造成影响。本文对 Docker 的空间占用进行汇总分析，以及对应的清理操作进行说明，希望能帮到大家~

2. 常见问题场景

一般来说，docker包括镜像（image）、容器（container）和数据卷（volumn）三部分，日常遇到的docker空间占用问题，基本也是从这三方面入手。典型的场景有：

• json.log文件过大
• 镜像较多占用空间大
• local volumn占用空间大
  基本上来说，docker 空间占用大，都是围绕上面几方面来开展分析的。下面说说空间分析及处理应对措施

3. docker 磁盘空间使用分析及处理

• 排查命令： docker system df
  命令可以查询镜像(Images)、容器(Containers)和本地卷(Local Volumes)等空间占用情况，如下效果

docker system df 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          17        15        6.016GB   1.001GB (16%)
Containers      29        26        4.444MB   0B (0%)
Local Volumes   7         4         465.5MB   232.7MB (50%)
Build Cache     0         0         0B        0B

3.1 image镜像占用分析及解决

通过 docker system df命令，查看Images镜像占用的空间大小，可以看到总的镜像数以及在用的镜像数。可以通过以下命令进行清理，从而达到释放空间占用的作用

# 通过命令清除无用的镜像，停止的容器和Volumes
docker system prune -a 
# 也可以通过命令手动删除指定镜像
docker rmi 镜像ID

3.2 json.log占用分析及解决

容器镜像数较多导致的空间占用是最常见也最容易处理的场景，除通过docker system prune清理外，也可通过docker rmi的命令进行清理。除此之外 ，还有常见的空间占用场景，如json.log文件过大。当容器运行一段时间后，容器的控制台日志输出过大的时候，会导致一个以容器ID-json命名的Log文件，持续增大，一般是在/var/lib/docker/containers/目录下，可以通过如下命令查看json.log占用

ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
-rw-r----- 1 root root    0 Dec 27 14:22 /var/lib/docker/containers/021451de5bbaf2ac68839d4b9f3a4605be673d4286b3963ee2bddb1a3d01b6d2/021451de5bbaf2ac68839d4b9f3a4605be673d4286b3963ee2bddb1a3d01b6d2-json.log
-rw-r----- 1 root root  81K Dec 27 16:27 /var/lib/docker/containers/0413a938fff4603b9d898b680ba16b11b02a7cac25ddfaea318c15f1398668fd/0413a938fff4603b9d898b680ba16b11b02a7cac25ddfaea318c15f1398668fd-json.log
-rw-r----- 1 root root  113 Dec 21 21:44 /var/lib/docker/containers/1e6fb2c4f4bc9afeff1406c2c7f4a48e162c3b8075aef6e67871c942232b2fbe/1e6fb2c4f4bc9afeff1406c2c7f4a48e162c3b8075aef6e67871c942232b2fbe-json.log
-rw-r----- 1 root root  26K Dec 27 14:21 /var/lib/docker/containers/283e6cfc3f9e52ffb5dfd26386d910010a6f14e2304d28c244c9010b3396f2aa/283e6cfc3f9e52ffb5dfd26386d910010a6f14e2304d28c244c9010b3396f2aa-json.log
-rw-r----- 1 root root 7.6K Dec 27 16:27 /var/lib/docker/containers/338ee505e76965f6636c229f437fe30018acd24c94e3aab9eec2fd3dffe67d29/338ee505e76965f6636c229f437fe30018acd24c94e3aab9eec2fd3dffe67d29-json.log

解决方案有3种

简单处理：

echo '' > /var/lib/docker/containers/容器id-json.log

 运行服务时指定json log大小及数量

# 参数：--log-opt max-size=200m --log-opt max-file=3 
docker run -it --log-opt max-size=200m --log-opt max-file=3 nginx

 全局配置

vim  /etc/docker/daemon.json
{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"200m","max-file":"3"
    }
}

systemctl daemon-reload
systemctl restart docker

3.3 Local Volumnes占用分析及解决

Local Volumnes占用空间大，相对来说比较少遇到的一种场景，像镜像和json.log占用的情况，比较常见。

docker system df 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          42        20        10.81GB   4.265GB (39%)
Containers      64        39        1.358GB   200.3MB (14%)
Local Volumes   7         4         64.9GB   232.7MB (0.3%)
Build Cache     0         0         0B        0B

从命令可以看出，Local Volumnes占用超过60GB，可释放空间只有232MB，因此通过命令：docker system prune清理也只能释放232MB的空间占用。
解决方案
思路：
查看Local Volumes占用明细->查找关联的容器ID->清理对应容器->完成空间占用清理

# 通过参数-v查看详细的空间占用
docker system df -v
*** ***
Local Volumes space usage:

VOLUME NAME                                                        LINKS     SIZE
13cb48964bd5f5b2154687cd2ec9d948c03183c778a131021d7a078251e327fc   1         77.58MB
0c6f791c44f9e18c414df127effeb03bcd4e3d3f00a1da9520b1f79308d5d4b4   0         77.58MB
7995d23375e56221438cca64ddd9f0a799c6492cf28ea4cf8689fa3f6ca6d0b2   2         77.58MB
c742d23648db19b93a731d6861864f7fc90ec22bfd3aeaa73c811fe587126777   1         77.58MB
b60f3956f0d502f163e47806b2bfe6d8e1ad3fe555d1a01c86541708ec5277ff   1         0B
fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d   1         62.22GB
86cff21c7b3690e94548a94e5e87428761d3887f0a62abbd85ddf1b15684dbd8   0         77.58MB
0ebc98b7d24962a968acb73ae65abd9b1e846098ba4f7d68f09c8d163cedd12e   0         77.58MB

Build cache usage: 0B

CACHE ID   CACHE TYPE   SIZE      CREATED   LAST USED   USAGE     SHARED

可以看出磁盘占用主要是：fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d，因此，要查看此卷相关联的容器ID

# 编写py脚本
import os
volumn = "fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d"
names = [line.split(" ")[-1] for line in os.popen("docker ps -a").read().split("\n") if line ]
print([name for name in names[1:] if volumn in os.popen("docker inspect %s"%name).read()])

# 执行脚本
python volumn.py
# 返回结果如下
['collection-687df56967-z5t6f']
找到相关联的容器后，判断容器运行着什么，内容是否可清理

4. 总结

在日常使用中，安装docker后做好优化配置工作，如配置json log大小及文件限制，定期清理无用的容器和镜像，可以减少docker 空间占用导致宿主机磁盘空间不够导致的各种问题。当遇到以上措施无法处理的情况的时候，要灵活使用docker system df -v的命令进行故障排查分析。希望这个能帮到各位，有用就点个关注和收藏吧~