Docker 的数据管理与网络通信以及Docker镜像的创建

目录

Docker的数据管理

1、数据卷

2、数据卷容器

3、端口映射

4、容器互联

二、Docker网络

1、Docker网络实现原理

2、Docker的网桥模式

1）Host

2）Container

3）none

4）bridge

5）自定义网络

3、创建自定义网络

三、资源控制

1、CPU 资源控制

2、设置CPU资源占用比（设置多个容器时才有效）

3、设置容器绑定指定的CPU

4、对内存使用的限制

5、对磁盘IO配额控制（blkio）的限制

6、清理docker占用的磁盘空间

四、Docker镜像的创建

1、基于现有镜像创建

2、基于本地模板创建

3、基于Dockerfile 创建

1）常用的Dockerfile创建镜像的指令

2）使用Dockerfile构建镜像的步骤

3）容器启动时运行的命令优先级

4）CMD 和 ENTRYPOINT 的区别

5）ADD 和 COPY 的区别

五、如何缩小镜像的体积大小？

---

Docker的数据管理

管理 Docker 容器中数据主要有两种方式：数据卷（Data Volumes）和数据卷容器（DataVolumes Containers）。

1、数据卷

数据卷是一个供容器使用的特殊目录，位于容器中。可将宿主机的目录挂载到数据卷上，对数据卷的修改操作立刻可见，并且更新数据不会影响镜像，从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于 Linux 下对目录进行的 mount 操作。

例：将宿主机目录/var/www 挂载到容器中的/data1

注意：宿主机本地目录的路径必须是使用绝对路径。如果路径不存在，Docker会自动创建相应的路径。

docker run -v /data:/data1 --name web1 -it centos:7 /bin/bash
#-v 选项可以在容器内创建数据卷

echo "this is web1" > /data/test.txt
exit

#返回宿主机进行查看
cat  /data/test.txt

2、数据卷容器

如果需要在容器之间共享一些数据，最简单的方法就是使用数据卷容器。数据卷容器是一个普通的容器，专门提供数据卷给其他容器挂载使用。

创建一个容器作为数据卷容器

docker run --name web2 -v /data1 -v /data2 -it centos:7 /bin/bash
echo "this is web2" > /data1/abc.txt
echo "THIS IS WEB2" > /data2/ABC.txt

使用 --volumes-from 来挂载 web2 容器中的数据卷到新的容器

docker run -it --volumes-from web2 --name web3 centos:7 /bin/bash
cat /data1/abc.txt
cat /data2/ABC.txt

3、端口映射

在启动容器的时候，如果不指定对应的端口，在容器外是无法通过网络来访问容器内的服务。端口映射机制将容器内的服务提供给外部网络访问，实质上就是将宿主机的端口映射到容器中，使得外部网络访问宿主机的端口便可访问容器内的服务。

例如：随机映射端口（从32768开始）

docker run -d --name test1 -P(大写) nginx

docker run -d --name test2 -p(小写) 43000:80 nginx        #指定映射端口

可以分别访问

浏览器访问：http://192.168.3.101:43000    、http://192.168.3.101:32768

4、容器互联

容器互联是通过容器的名称在容器间建立一条专门的网络通信隧道。简单点说，就是会在源容器和接收容器之间建立一条隧道，接收容器可以看到源容器指定的信息。

例如：创建并运行源容器取名web1

docker run -itd -P --name web1 centos:7 /bin/bash    

创建并运行接收容器取名web2，使用--link选项指定连接容器以实现容器互联

docker run -itd -P --name web2 --link web1:web1 centos:7 /bin/bash

 #--link 容器名:连接的别名

#进web2 容器， ping web1

docker exec -it web2 bash
ping web1

二、Docker网络

1、Docker网络实现原理

Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的 Container-IP 直接通信。

Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过 Container-IP 访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即 docker run 创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

# 查看容器的输出和日志信息

格式：docker logs 容器的ID/名称

例：docker logs nginx

2、Docker的网桥模式

Docker网桥模式有Host、Container、None、Bridge以及自定义网络

安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host

查看Docker网络列表

docker network ls     或  docker network list

 

1）Host

相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立IP地址。
Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。
一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。 一个Docker容器一般会分配一个独立的Network Namespace。 但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace， 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置自己的IP等，而是使用宿主机的IP和端口。

2）Container

在理解了host模式后，这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。 新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

3）none

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。 也就是说，这个Docker容器没有网卡、IP、路由等信息。这种网络模式下容器只有lo回环网络，没有其他网卡。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

4）bridge

bridge模式是docker的默认网络模式，不用--net参数，就是bridge模式。

相当于Vmware中的 nat 模式，容器使用独立network Namespace，并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。    

（1）当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

（2）从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。 veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。

（3）Docker将 veth pair 设备的一端放在新创建的容器中，并命名为 eth0（容器的网卡），另一端放在主机中， 以 veth* 这样类似的名字命名， 并将这个网络设备加入到 docker0 网桥中。可以通过 brctl show 命令查看。

（4）使用 docker run -p 时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL 查看。

5）自定义网络

直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错

docker run -itd --name test3 --network bridge --ip 172.17.0.10 centos:7 /bin/bash

3、创建自定义网络

可以先自定义网络，再使用指定IP运行docker

docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1"  mynetwork
-------------------------------------------------------------------------------------------
#docker1 为执行 ifconfig -a 命令时，显示的网卡名，如果不使用 --opt 参数指定此名称，那你在使用 ifconfig -a 命令查看网络信息时，看到的是类似 br-110eb56a0b22 这样的名字，这显然不怎么好记。
#mynetwork 为执行 docker network list 命令时，显示的bridge网络模式名称。
-------------------------------------------------------------------------------------------

docker run -itd --name test4 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash

三、资源控制

Docker 通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面， 基本覆盖了常见的资源配额和使用量控制。
Cgroup 是 ControlGroups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等等) 的机制，被 LXC、docker 等很多项目用于实现进程资源控制。Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。

1、CPU 资源控制

1）设置CPU使用率上限

Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。

我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。

CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~1000000。
而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。

docker run -itd --name test5 centos:7 /bin/bash

docker ps -a

cd /sys/fs/cgroup/cpu/docker/c226c2c2429bfeb559106c276b06654adb8b5359800a970df3325686ec0bcacf

#cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。
#cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。 如果设为50000，表示占用50000/100000=50%的CPU。

进行CPU压力测试

docker exec -it c226c2c2429b /bin/bash
vim /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done

chmod +x /cpu.sh
./cpu.sh

设置50%的比例分配CPU使用时间上限

docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash	
#可以重新创建一个容器并设置限额

或者
cd /sys/fs/cgroup/cpu/docker/c226c2c2429bfeb559106c276b06654adb8b5359800a970df3325686ec0bcacf/
echo 50000 > cpu.cfs_quota_us
docker exec -it c226c2c2429b /bin/bash
./cpu.sh

#然后使用top查看cpu

2、设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数

例如：创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。

docker run -itd --name c1 --cpu-shares 512 centos:7	
docker run -itd --name c2 --cpu-shares 1024 centos:7

分别进入容器，进行压力测试

yum install -y epel-release
yum install -y stress
stress -c 4	
#产生四个进程，每个进程都反复不停的计算随机数的平方根

可以看到在 CPU 进行时间片分配的时候，容器 c2 比容器 c1 多一倍的机会获得 CPU 的时间片。

3、设置容器绑定指定的CPU

先分配虚拟机4个CPU核数

docker run -itd --name test7 --cpuset-cpus 1,3 centos:7 /bin/bash

进入容器，进行压力测试

yum install -y epel-release
yum install stress -y
stress -c 4

执行 top 命令再按 1 查看CPU使用情况

4、对内存使用的限制

1）-m(--memory=) 选项用于限制容器可以使用的最大内存

docker run -itd --name test8 -m 512m centos:7 /bin/bash

docker stats

2）限制可用的 swap 大小， --memory-swap
强调一下，--memory-swap 是必须要与 --memory 一起使用的。

正常情况下，--memory-swap 的值包含容器可用内存和可用 swap。

• 如果 --memory-swap 设置为 0 或者 不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
• 如果 --memory-swap 的值和 -m 值相同，则容器不能使用 swap。
• 如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的 swap 空间使用不受限制（宿主机有多少 swap 容器就可以使用多少）。

所以 -m 300m --memory-swap=1g 的含义为：容器可以使用 300M 的物理内存，并且可以使用 700M（1G - 300）的 swap。

5、对磁盘IO配额控制（blkio）的限制

1）--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。

例：docker run -itd --name test9 --device-read-bps /dev/sda:1M  centos:7 /bin/bash

2）--device-write-bps ： 限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。

例：docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

3）--device-read-iops ：限制读某个设备的iops（次数）

     --device-write-iops ：限制写入某个设备的iops（次数）

6、清理docker占用的磁盘空间

docker system prune -a
#可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络

四、Docker镜像的创建

创建镜像有三种方法，分别为基于已有镜像创建、基于本地模板创建以及基于Dockerfile创建。

1、基于现有镜像创建

1）首先启动一个镜像，在容器里做修改

docker create -it centos:7 /bin/bash

2）然后将修改后的容器提交为新的镜像，需要使用该容器的 ID 号创建新镜像

docker commit -m "new" -a "centos" b1a372479b83 centos:test
#常用选项：
-m 说明信息；
-a 作者信息；
-p 生成过程中停止容器的运行。

docker images

2、基于本地模板创建

通过导入操作系统模板文件可以生成镜像，模板可以从 OPENVZ 开源项目下载，下载地址为http://openvz.org/Download/template/precreated

wget http://download.openvz.org/template/precreated/debian-7.0-x86-minimal.tar.gz

#导入为镜像
cat debian-7.0-x86-minimal.tar.gz | docker import - debian:test

3、基于Dockerfile 创建

1）常用的Dockerfile创建镜像的指令

常用的Dockerfile指令

指令	解释
FROM	指定基础镜像（是Dockerfile的第一行指令）
MAINTAINER	指定镜像维护人信息（可选）
RUN	指定Linux命令，如果要执行连续多条命令时建议用 ; 或 && 或 < 使用<
EXPOSE	指定容器应用的端口
ENV	设置镜像的环境变量
ADD/COPY	复制文件/目录到镜像里
VOLUME	指定容器的匿名数据卷
USER	指定容器的运行用户
WORKDIR	指定后续镜像层的工作目录
ARG	指定构建镜像时传入的参数变量        docker build  --build-arg 变量=值
CMD/ENTRYPOINT	指定容器启动时执行的命令

2）使用Dockerfile构建镜像的步骤

• 第一步，编写Dockerfile文件
• 第二步，先在第一行用 FROM 指令指定基础镜像
• 第三步，还可以再用 MAINTAINER 指定镜像维护人信息（可跳过）
• 第四步，用 RUN EXPOSE ENV ADD COPY 等指令编写构建镜像的过程
• 第五步，用 CMD/ENTRYPOINT 指定容器启动时执行的命令
• 最后保存退出后，再用 docker build -t 新镜像名:标签 . [-f Dockerfile文件路径] 命令构建镜像

3）容器启动时运行的命令优先级

docker run --entrypoint="命令"  >  镜像里的ENTRYPOINT指定的命令  >  docker run ... 镜像 命令  >  镜像里的CMD指定的命令

4）CMD 和 ENTRYPOINT 的区别

共同点：都可以用来指定容器启动命令
区别：ENTRYPOINT指定的容器启动命令优先级更高，如果CMD和ENTRYPOINT同时存在，那么CMD指定的内容将作为ENTRYPOINT指定的容器启动命令的选项或参数使用

5）ADD 和 COPY 的区别

共同点：都可以将本地的文件/目录复制到镜像里
区别：ADD还可以通过URL下载文件复制到镜像里，还能将本地的压缩包解压后复制到镜像里（URL下载和压缩包解压特性不能同时使用）

五、如何缩小镜像的体积大小？

1、尽可能的采用小体积的基础镜像

2、尽可能的减少Dockerfile指令的数量

3、在RUN指令里添加安装软件后清空yum/apt缓存、软件包的命令

4、使用多级（多阶段）构建的方法    FROM 第一阶段的基础镜像 AS 别名