Docker Image管理学习笔记

Docker Image管理学习笔记

简介

Container本来也不是什么新技术，为什么Docker就火了，而前辈们如lxc、OpenVZ等没这么火。其实一部分原因得益于Docker的Image管理。Docker借鉴了vm的方式，让用户像管理vm一样的管理他们的container镜像，并且也同样叫做Image。在实现上，Docker利用container的Rootfs是从host上挂载的、并且能挂载多个目录这个特点，将Docker Image分成多个小块（这是按照vm Image的思维来说的，实际上这多个小块，每个都是一个Image，最终使用的是一个Image组合），方便管理与共享。

我们已经了解了Container是什么，那么Image是怎么转换为Container的Rootfs的？Image本身是怎么在磁盘上存储的？带着这些疑问，我们一起来看看Docker的实现。

磁盘上的image

先来看看磁盘中存储的image是什么样子的，这里以aufs为例，devicemapper的存储形式和aufs还不太一样，后续有空再来分析。

现在我们有一个image：

 ubuntu@ubuntu:~$ sudo docker images
 [sudo] password for ubuntu:
 REPOSITORY          TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
 ubuntu-12.04        latest              212e4aaf49e7        25 minutes ago      172.7 MB

对应的/var/lib/docker目录下就有这些东西：

 ubuntu@ubuntu:~$ sudo ls -lh /var/lib/docker
 total 48K
 drwxr-xr-x 2 root root 4.0K Apr 16 22:26 apparmor
 drwxr-xr-x 5 root root 4.0K Jun 21 16:14 aufs
 drwx------ 3 root root 4.0K Jun 22 13:01 containers
 drwx------ 5 root root 4.0K Jun 22 12:59 devicemapper
 drwx------ 3 root root 4.0K Apr 16 22:16 execdriver
 drwx------ 6 root root 4.0K Jul 13 11:32 graph
 drwx------ 2 root root 4.0K Jul 13 11:40 init
 -rw-r--r-- 1 root root 5.0K Jun 22 13:01 linkgraph.db
 -rw------- 1 root root  111 Jul 13 11:32 repositories-aufs
 -rw------- 1 root root  180 Apr 16 22:56 repositories-devicemapper
 drwx------ 2 root root 4.0K Apr 16 22:16 volumes

抛开其他的不管，现在只关心里面的aufs, graph目录和repositories-aufs文件（如果是devicemapper，则是devicemapper目录和repositories-devicemapper文件，graph为共用的目录）。

aufs目录的结构如下：

 ubuntu@ubuntu:~$ sudo tree /var/lib/docker/aufs -L 3
 /var/lib/docker/aufs
 |-- diff
 |   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d
 |       |-- bin
 |       |-- boot
 |       |-- dev
 |       |-- etc
 |       |-- home
 |       |-- lib
 |       |-- lib64
 |       |-- media
 |       |-- mnt
 |       |-- opt
 |       |-- proc
 |       |-- root
 |       |-- run
 |       |-- sbin
 |       |-- selinux
 |       |-- srv
 |       |-- sys
 |       |-- tmp
 |       |-- usr
 |       `-- var
 |-- layers
 |   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d
 `-- mnt
     `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d

layers目录和mnt目录里面目前还只有一个空目录，后面再来看。这里主要是diff目录下对应image的目录，image内部的所有文件都在这。

而graph目录的结构如下：

 ubuntu@ubuntu:~$ sudo tree /var/lib/docker/graph -L 3
 /var/lib/docker/graph
 |-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d
 |   |-- json
 |   `-- layersize
 |-- 317c1f4475ad860bdcf0e529fd03f181b2c6b64e5b78358051efc94c8f728cd7
 |   |-- json
 |   `-- layersize
 |-- bcd86fdd0ba0b84f10f4539f99e8730958fc1028d35495f8dd11ae1913370e42
 |   |-- json
 |   `-- layersize
 `-- _tmp

这里只看212e这个image，另外两个image其实是devicemapper下的image，所有image的描述都放在graph目录下。json文件为image的描述文件，主要是创建这个image的container配置信息，layersize文件内为该image的大小。

最后看看repositories-aufs文件：

 ubuntu@ubuntu:~$ sudo cat /var/lib/docker/repositories-aufs |python -m json.tool
 {
     "Repositories": {
         "ubuntu-12.04": {
             "latest": "212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d"
         }
     }
 }

其实就是描述在aufs模式下有哪些image可用。

了解了image包括哪些东西，接下来再看看这些东西是怎么用的。

从Image到Container

当我们通过命令行docker run创建一个container并运行时，其中就经历了从image到container rootfs的转化，蓝图如下（省略了其他操作）：

上图横轴为执行流程，纵轴是对每个过程的解释。

因为docker run命令实际的执行主要分两步：create和start。在create过程中，主要是将image挂载到/var/lib/docker/aufs/mnt/:id-init目录 （:id为container id），并且取消掉对某些文件/文件夹的挂载，重新创建一份新的。这里的文件/文件夹主要为：

 "/dev/pts":         "dir",
 "/dev/shm":         "dir",
 "/proc":            "dir",
 "/sys":             "dir",
 "/.dockerinit":     "file",
 "/.dockerenv":      "file",
 "/etc/resolv.conf": "file",
 "/etc/hosts":       "file",
 "/etc/hostname":    "file",
 "/dev/console":     "file",
 "/etc/mtab":        "/proc/mounts",

然后在start流程中，主要是生成container真正的rootfs目录/var/lib/docker/aufs/mnt/:id， 然后又将几个/host上的目录挂载到rootfs，主要是 /etc/hosts， /etc/hostname, /etc/resolv.conf等。

（其实这里没看明白为啥这几个文件要这样处理，也没看明白为什么要用:id-init目录隔一层。主要是对aufs不熟悉，后面再学习一下。）

现在来看看，当我们创建了一个container后，aufs目录有什么变化：

 ubuntu@ubuntu:~$ sudo tree -L 3 /var/lib/docker/aufs
 [sudo] password for ubuntu:
 /var/lib/docker/aufs
 |-- diff
 |   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167
 |   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167-init
 |   |   |-- dev
 |   |   `-- etc
 |   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d
 |       |-- bin
 |       |-- boot
 |       |-- dev
 |       |-- etc
 |       |-- home
 |       |-- lib
 |       |-- lib64
 |       |-- media
 |       |-- mnt
 |       |-- opt
 |       |-- proc
 |       |-- root
 |       |-- run
 |       |-- sbin
 |       |-- selinux
 |       |-- srv
 |       |-- sys
 |       |-- tmp
 |       |-- usr
 |       `-- var
 |-- layers
 |   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167
 |   |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167-init
 |   `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d
 `-- mnt
     |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167
     |   |-- bin
     |   |-- boot
     |   |-- dev
     |   |-- etc
     |   |-- home
     |   |-- lib
     |   |-- lib64
     |   |-- media
     |   |-- mnt
     |   |-- opt
     |   |-- proc
     |   |-- root
     |   |-- run
     |   |-- sbin
     |   |-- selinux
     |   |-- srv
     |   |-- sys
     |   |-- tmp
     |   |-- usr
     |   `-- var
     |-- 09b1be94a4444076375b7cb386609990622a1746802858ea85f1de607c1e5167-init
     `-- 212e4aaf49e7cde3c280d05f1a6bd74ecf66ad83917fa757137deb0dae82806d

这里创建了一个id为09b1的container，其中/aufs/mnt/09b1xxx 为rootfs, /aufs/layers目录下的文件，主要存储image的parents image id。

小结

Docker的image管理涉及到不少linux文件系统使用的细节，对linux文件系统掌握得不深的话，这部分就只能看个大概的流程。而且这只是其中的aufs部分，其他的devicemapper、btrfs、vfs部分的都不太一样。下来先补习一下linux文件系统知识，再回过头来看看docker的image管理，可能会稍微轻松些。