Docker实战05｜Docker构建流程分析
在上一文《Docker实战04｜Union File System》中主要介绍了Linux Union File System的基本原理以及实现。相信读完以后可以更加深入的了解Docker关于Union File System的底层实现原理了。
本文继续针对Docker 在构建时都干了哪些事情做一些详细的讲解。
本系列所有代码均已经开源。关公众号回复「Go语言实现Docker」即可获得。
具体分析
以构建镜像方式演示以下 docker 是如何使用 overlayfs 的。
先拉一下 Ubuntu:20.04 的镜像：
~# docker pull ubuntu:20.04
20.04: Pulling from library/ubuntu
527f5363b98e: Pull complete
Digest: sha256:f2034e7195f61334e6caff6ecf2e965f92d11e888309065da85ff50c617732b8
Status: Downloaded newer image for ubuntu:20.04
docker.io/library/ubuntu:20.04
然后写个简单的 Dockerfile ：
FROM ubuntu:20.04
RUN echo "Hello world" > /tmp/newfile
开始构建：
docker build -t hello-ubuntu .
使用docker history命令，查看镜像使用的 image layer 情况：
带 missing 标记的 layer 是自 Docker 1.10 之后，一个镜像的 image layer image history 数据都存储在 个文件中导致的，这是 Docker 官方认为的正常行为。
可以看到，c9afac9d4fa7 这一层在最上面，只用了 12Bytes，而下面的两层都是共享的，这也证明了 AUFS 是如何高效使用磁盘空间的。
然后去找一下具体的文件：
docker 默认的存储目录是/var/lib/docker,具体如下：
在这里，我们只关心image和overlay2就足够了。
- image：镜像相关
- overlay2：docker 文件所在目录，也可能不叫这个名字，具体和文件系统有关，比如可能是 aufs 等。
先看 image目录：
docker 会在/var/lib/docker/image目录下按每个存储驱动的名字创建一个目录，如这里的overlay2。
这里的关键地方是imagedb和layerdb目录，看这个目录名字，很明显就是专门用来存储元数据的地方。
- layerdb：docker image layer 信息
- imagedb：docker image 信息
因为 docker image 是由 layer 组成的，而 layer 也已复用，所以分成了 layerdb 和 imagedb。
先去 imagedb 看下刚才构建的镜像：
可以看到，都是 64 位的 ID，这些就是具体镜像信息，刚才构建的镜像 ID 为c9afac9d4fa7,所以就找c9afac9d4fa7开头的文件：
这就是 image 的 metadata，这里主要关注 rootfs：
"rootfs":{"type":"layers","diff_ids":["sha256:3a03f09d212915b240e9d216069aba5652ed4765c7e4b098c65e71860d47b8e1","sha256:f37c6b555bc81f96fc6352f3d6be66f6c24f043feab35b15eb2bdad09a8c6a0f"]}}
可以看到 rootfs 的 diff_ids 是一个包含了两个元素的数组，这两个元素就是组成 hello-ubuntu 镜像的两个 Layer 的diffID。
从上往下看，就是底层到顶层，即3a03f09d212915b…是 image 的最底层。
然后根据 layerID 去layerdb目录寻找对应的 layer：
# tree -L 2 layerdb/
layerdb/
├── mounts
├── sha256
└── tmp
在这里我们只管mounts和sha256两个目录，先打印以下 sha256 目录
可以看到，layer 里也是 64 位随机 ID 构成的目录，找到刚才 hello-ubuntu 镜像的最底层 layer：
文件含义如下：
- cache-id：为具体/var/lib/docker/overlay2/存储路径
- diff：diffID，用于计算 ChainID
- size：当前 layer 的大小
docker 使用了 chainID 的方式来保存 layer，layer.ChainID 只用本地，根据 layer.DiffID 计算，并用于 layerdb 的目录名称。
chainID 唯一标识了一组（像糖葫芦一样的串的底层）diffID 的 hash 值，包含了这一层和它的父层(底层)，
- 当然这个糖葫芦可以有一颗山楂，也就是 chainID(layer0)==diffID(layer0)；
- 对于多颗山楂的糖葫芦，ChainID(layerN) = SHA256hex(ChainID(layerN-1) + " " + DiffID(layerN))。
# cat diff
sha256:3a03f09d212915b240e9d216069aba5652ed4765c7e4b098c65e71860d47b8e1
由于这是 layer0,所以 chainID 就是 diffID，然后开始计算 layer1 的 chainID：
ChainID(layer1) = SHA256hex(ChainID(layer0) + " " + DiffID(layer1))
layer0 的 chainID 是3a03f…,而 layer1 的 diffID 根据 rootfs 中的数组可知，为f37c6…
计算 ChainID：
#echo -n "sha256:3a03f09d212915b240e9d216069aba5652ed4765c7e4b098c65e71860d47b8e1 sha256:f37c6b555bc81f96fc6352f3d6be66f6c24f043feab35b15eb2bdad09a8c6a0f" | sha256sum| awk '{print $1}'
2089b2e0fb03697ce2198bd03207fa229e27fb8d6d1620b15db60dbc98931a9d
一定注意要加上 “sha256:”和中间的空格“ ” 这两部分
因此 layer1 的 chainID 就是2089b2e…
找到 layerdb 里面以sha256+2089b2e 开头的目录
#cd /var/lib/docker/image/overlay2/layerdb/sha256/2089b2e0fb03697ce2198bd03207fa229e27fb8d6d1620b15db60dbc98931a9d
#cat size
12
# 查看 cache-id 找到 文件系统中的具体位置
#cat cache-id
kejewb3wshnuy5rmxotue6moi
根据 cache-id 进入具体数据存储目录：
可以看到，我们新增的 newfile 就在这里。
未完待续。。。
在前几篇文章中，依次详细讲解了Namespace、Cgroups以及AUFS。相信看完这三部分，面试官再问你多深的Docker问题，你都可以对答如流了。
在后续的文章中，将会继续讲解如何使用Go语言构造容器、构造镜像。
所有Docker实战内容合集：《Docker就应该这么学》
关注我学习更多的云原生知识。
— End 小福利 —
本文所有内容都是基于「动手写Docker」此书。关注公众号，后台回复“动手写Docker”即可领取。
同时，准备了一份云原生实战大礼包送给大家，关注公众号，后台回复“云原生资料”即可领取。
