docker镜像管理基础

1. 镜像的概念

镜像可以理解为应用程序的集装箱，而docker用来装卸集装箱。

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。

docker镜像采用分层构建机制，最底层为bootfs，其上为rootfs

• bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启动完成后会被卸载以节约内存资源
• rootfs：位于bootfs之上，表现为docker容器的根文件系统
  – 传统模式中，系统启动之时，内核挂载rootfs会首先将其挂载为“只读”模式，完整性自检完成后将其重新挂载为读写模式
  – docker中，rootfs由内核挂载为“只读”模式，而后通过“联合挂载”技术额外挂载一个“可写”层

注意：删除容器时，这个容器自有的“可写”层会一起被删除

2. docker镜像层

位于下层的镜像称为父镜像（parrent image），最底层的称为基础镜像（base image）；
最上层为“可读写”层，其下的均为“只读”层。

3. docker存储驱动

docker提供了多种存储驱动来实现不同的方式存储镜像，下面是常用的几种存储驱动：

• AUFS
• OverlayFS
• Devicemapper
• Btrfs
• VFS

3.1 AUFS

AUFS（AnotherUnionFS）是一种Union FS，是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统，把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的，只有最上层的文件系统是可写的。当需要修改一个文件时，AUFS创建该文件的一个副本，使用CoW将文件从只读层复制到可写层进行修改，结果也保存在可写层。在Docker中，底下的只读层就是image，可写层就是Container。

AUFS文件系统据说有3W行代码，而ext4文件系统却只有4000-5000行左右代码，这些代码是要被整合进内核的，后来AUFS申请要被合并进内核代码的时候，linuz觉得它这代码太过臃肿，于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统，想用AUFS这个文件系统的话，必须自己向内核打补丁并去编译使用它，但redhat系列的操作系统一向以稳定著称，不会干这种出格的事，所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。

3.2 OverlayFS

Overlay是Linux内核3.18后支持的，也是一种Union FS，和AUFS的多层不同的是Overlay只有两层：一个upper文件系统和一个lower文件系统，分别代表Docker的镜像层和容器层。当需要修改一个文件时，使用CoW将文件从只读的lower复制到可写的upper进行修改，结果也保存在upper层。在Docker中，底下的只读层就是image，可写层就是Container。目前最新的OverlayFS为Overlay2。

AUFS和Overlay都是联合文件系统，但AUFS有多层，而Overlay只有两层，所以在做写时复制操作时，如果文件比较大且存在比较低的层，则AUSF会慢一些。而且Overlay并入了linux kernel mainline，AUFS没有。目前AUFS已基本被淘汰。

3.3 DeviceMapper

Device mapper是Linux内核2.6.9后支持的，提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储，而Device mapper是块级存储，所有的操作都是直接对块进行操作，而不是文件。Device mapper驱动会先在块设备上创建一个资源池，然后在资源池上创建一个带有文件系统的基本设备，所有镜像都是这个基本设备的快照，而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照，并没有为容器分配空间。当要写入一个新文件时，在容器的镜像内为其分配新的块并写入数据，这个叫用时分配。当要修改已有文件时，再使用CoW为容器快照分配块空间，将要修改的数据复制到在容器快照中新的块里再进行修改。

OverlayFS是文件级存储，Device mapper是块级存储，当文件特别大而修改的内容很小，Overlay不管修改的内容大小都会复制整个文件，对大文件进行修改显然要比小文件要消耗更多的时间，而块级无论是大文件还是小文件都只复制需要修改的块，并不是整个文件，在这种场景下，显然device mapper要快一些。因为块级的是直接访问逻辑盘，适合IO密集的场景。而对于程序内部复杂，大并发但少IO的场景，Overlay的性能相对要强一些。

4. docker registry

启动容器时，docker daemon会试图从本地获取相关的镜像，本地镜像不存在时，其将从Registry中下载该镜像并保存到本地。

Registry用于保存docker镜像，包括镜像的层次结构和元数据。用户可以自建Registry，亦可使用官方的Docker Hub。

docker registry的分类：

• Sponsor Registry：第三方的Registry，供客户和Docker社区使用
• Mirror Registry：第三方的Registry，只让客户使用
• Vendor Registry：由发布docker镜像的供应商提供的registry
• Private Registry：通过设有防火墙和额外的安全层的私有实体提供的registry

docker registry的组成：

• Repository
  • 由某特定的docker镜像的所有迭代版本组成的镜像仓库
  • 一个Registry中可以存在多个Repository
    • Repository可分为“顶层仓库”和“用户仓库”
    • 用户仓库名称格式为“用户名/仓库名”
  • 每个仓库可包含多个Tag(标签)，每个标签对应一个镜像
• Index
  • 维护用户帐户、镜像的检验以及公共命名空间的信息
  • 相当于为Registry提供了一个完成用户认证等功能的检索接口

Docker Registry中的镜像通常由开发人员制作，而后推送至“公共”或“私有”Registry上保存，供其他人员使用，例如“部署”到生产环境。

5. docker镜像的制作

多数情况下，我们做镜像是基于别人已存在的某个基础镜像来实现的，我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。

那么这个最小化的centos镜像从何而来呢？其实这个基础镜像一般是由Docker Hub的相关维护人员，也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的，但对于终端用户来说就不是那么容易制作的了。

制作属于自己的Docker镜像，一般有两种方式：

• 第一种为commit方式，利用已有的镜像，运行为容器后安装定制自己需要的环境，然后由容器生成镜像；
• 另一种就是build方式，通过编写Dockerfile文件添加构建镜像指令生成镜像。

镜像管理命令用法

6. Docker Hub

Docker Hub是一个基于云的注册服务，它允许你链接到代码库，构建你的镜像并对其进行测试，存储手动推送的镜像，并链接到Docker Cloud，以便你可以将镜像部署到你的主机上。
它为容器镜像的发现、分发和变更管理、用户和团队协作以及整个开发管道的工作流程自动化提供了一个集中的资源。

Docker Hub 提供以下主要功能

• 镜像存储库

  从社区和官方库中查找和拉取镜像，并管理、推送到您有权访问的私有镜像库和从中拉取

• 自动化构建

  更改源代码存储库时自动创建新图像。

• Webhooks

作为自动构建的一项功能，Webhooks让你在成功推送到版本库后触发行动

• 组织

创建工作组来管理对镜像存储库的访问

• GitHub 和 Bitbucket 集成

将 Hub 和您的 Docker 映像添加到您当前的工作流程中

7. docker镜像的获取

要从远程注册中心（比如你自己的Docker注册中心）获得Docker镜像，并将其添加到本地系统中，可以使用docker pull命令。

# docker pull <registry>[:<port>]/[<namespace>/]<name>:<tag>

Namespace 名称空间	Examples(/)
organization	redhat/kubernetes, google/kubernetes
login(username)	Alice/application,bob /application
role	devel/database, test/database, prod/database

• Dockerfile生成
• 基于容器制作
• Docker Hub automated builds
  

8. 基于容器制作镜像

docker commit 命令主要作用是将已经配置好运行环境的容器重新提交为镜像；此时提交成功的镜像就可以使用，并且环境已经配置好，不需要配置环境。

格式：
    docker commit [选项] <容器ID或容器名> [<仓库名>[:<标签>]]

选项：
    --author		//指定修改的作者
    --message		//记录本次修改的内容

以centos为基础制作一个nginx镜像

//之前拉取的centos镜像
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
centos       latest    5d0da3dc9764   2 months ago   231MB

//以centos创建一个容器
[root@localhost ~]# docker run --name centos01 -it centos

//再开一个终端，把写好的nginx安装脚本传到容器里面
[root@localhost ~]# docker cp nginx.sh centos01:/root/
[root@7bf8c7a46289 /]# ls
bin  dev  etc  home  lib  lib64  lost+found  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
[root@7bf8c7a46289 /]# cd /root
[root@7bf8c7a46289 ~]# ls
anaconda-ks.cfg  anaconda-post.log  nginx.sh  original-ks.cfg
//加执行权限
[root@7bf8c7a46289 ~]# chmod +x nginx.sh
//执行脚本
[root@7bf8c7a46289 ~]# ./nginx.sh 
//用systemd是无法启动的
[root@7bf8c7a46289 ~]# systemctl start nginx
System has not been booted with systemd as init system (PID 1). Can't operate.
Failed to connect to bus: Host is down
//直接读取环境变量用命令启动
[root@7bf8c7a46289 ~]# source /etc/profile.d/nginx.sh 
[root@7bf8c7a46289 ~]# nginx
[root@7bf8c7a46289 ~]# ss -antl
State                  Recv-Q                 Send-Q                                 Local Address:Port                                 Peer Address:Port                Process                 
LISTEN                 0                      128                                          0.0.0.0:80                                        0.0.0.0:*                             

nginx脚本

[root@localhost ~]# cat nginx.sh 
#!/bin/bash
version=nginx-1.20.1.tar.gz
name=nginx-1.20.1
install_dir=/usr/local
log=/var/log/nginx
#解决依赖关系
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel wget gd-devel gcc gcc-c++ make
yum -y groups mark install 'Development Tools'
#创建用户
id nginx &>/dev/null
if [ $? -ne 0 ];then  
        useradd -s /sbin/nologin nginx 
fi
#创建日志存放目录
if [ ! -d $log ];then     
    mkdir -p /var/log/nginx
    chown -R nginx.nginx /var/log/nginx 
fi
#下载nginx
cd /usr/src/
wget   http://nginx.org/download/$version
#解压
tar xf $version 
mv $name nginx
cd nginx/ && ./configure \
--prefix=$install_dir/nginx \
--user=nginx \
--group=nginx \
--with-debug \
--with-http_ssl_module \
--with-http_realip_module \
--with-http_image_filter_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_stub_status_module \
--http-log-path=$log/access.log \
--error-log-path=$log/error.log

make && make install
#配置环境变量
echo "export PATH=$install_dir/nginx/sbin:\$PATH" > /etc/profile.d/nginx.sh
. /etc/profile.d/nginx.sh

#创建服务文件
cat > /usr/lib/systemd/system/nginx.service <<EOF

[Unit]
Description=nginx
After=network.target
   
[Service]
Type=forking
ExecStart=$install_dir/nginx/sbin/nginx
ExecReload=$install_dir/nginx/sbin/nginx -s reload
ExecStop=$install_dir/nginx/sbin/nginx -s quit
PrivateTmp= true
   
[Install]
WantedBy=multi-user.target 

EOF

格式：
    docker commit [选项] <容器ID或容器名> [<仓库名>[:<标签>]]

选项：
    --author		//指定修改的作者
    --message		//记录本次修改的内容
    
//在另一个终端生成镜像
[root@localhost ~]# docker commit 7bf8c7a46289  nginx:v1.20.1
sha256:e6fe846ffacfae71e97f1fd0c10b926a768df6f07f254a50f768f77bf12d5255
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED         SIZE
nginx        v1.20.1   e6fe846ffacf   7 seconds ago   550MB
centos       latest    5d0da3dc9764   2 months ago    231MB

//测试生成的镜像能否满足要求
[root@localhost ~]# docker run --name nginx_test -it nginx:v1.20.1
[root@99ebd9503fbc /]# ss -antl
State                 Recv-Q                 Send-Q                                 Local Address:Port                                 Peer Address:Port                 Process 
//发现不能自己启动nginx

//传nginx命令然后生成镜像
[root@localhost ~]# docker commit  -p -c 'CMD ["/usr/local/nginx/sbin/nginx","-g","daemon off;"]' b97894fef6e1 nginx:v1.20.1
sha256:57f37b97be3783c4f1d8a7b2185c0a2346a56f22eda6b501f61c7350160bcb61
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
nginx        v1.20.1   57f37b97be37   1 second ago     550MB
centos       latest    5d0da3dc9764   2 months ago     231MB

//利用新镜像跑容器测试
[root@localhost ~]# docker run --name nginx02 -it -p 81:80 -it nginx:v1.20.1

[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE           COMMAND                  CREATED         STATUS         PORTS                               NAMES
dad319b0f05b   nginx:v1.20.1   "/usr/local/nginx/sb…"   3 minutes ago   Up 3 minutes   0.0.0.0:81->80/tcp, :::81->80/tcp   nginx02

[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED         SIZE
nginx        v1.20.1   57f37b97be37   8 minutes ago   550MB
centos       latest    5d0da3dc9764   2 months ago    231MB

9. 上传镜像到仓库

//登录docker
[root@localhost ~]# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: luohengjie
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

//上传镜像需要REPOSITORY 与仓库名字相同，这里修改名字
[root@localhost ~]# docker tag  nginx:v1.20.1 luohengjie/nginx:v1.20.1
//复制上传命令，加上标签直接上传
[root@localhost ~]# docker push luohengjie/nginx:v1.20.1
The push refers to repository [docker.io/luohengjie/nginx]
34061b15c5b1: Pushing [=================================================> ]  315.1MB/319.1MB
34061b15c5b1: Pushed 
 
v1.20.1: digest: sha256:e072fd0e2126c8dc70afb349eaf4ad42307f0583ddedf8c458390142bfa13964 size: 742