Docker 网络

目录

一：Docker 网络实现原理

二： Docker 的网络模式

 1、5大网络模式

2、 host模式

 3、container模式

 4、none模式

5、 bridge模式

6：自定义网络

三：cgroup 限制

 1、资源控制

（1）设置CPU使用率上限

​（2）设置CPU资源占用比（设置多个容器时才有效）

（3） 设置容器绑定指定的CPU

 2、对内存使用的限制

3、 对磁盘IO配额控制（blkio）的限制

 总结

---

一：Docker 网络实现原理

Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的 Container-IP 直接通信。

Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过 Container-IP 访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即 docker run 创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。
 

docker run -itd --name test1 -P nginx					#随机映射端口（从32768开始）

docker run -itd --name test2 -p 43000:80 nginx		#指定映射端口

docker ps -a
CONTAINER ID   IMAGE          COMMAND                   CREATED              STATUS              PORTS                                     NAMES
d0948da51801   nginx          "/docker-entrypoint.…"   About a minute ago   Up About a minute   0.0.0.0:43000->80/tcp, :::43000->80/tcp   test2
0242bca2dee2   nginx          "/docker-entrypoint.…"   About a minute ago   Up About a minute   0.0.0.0:32768->80/tcp, :::32768->80/tcp   test1
30052b6ce3ec   nginx:latest   "/docker-entrypoint.…"   23 hours ago         Up 23 hours         80/tcp                                    thirsty_leakey


浏览器访问：http://192.168.231.102:43000	、http://192.168.231.102:49170


#查看容器的输出和日志信息
docker logs 容器的ID/名称

 

二： Docker 的网络模式

 1、5大网络模式

●Host：容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。
●Container：创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围。
●None：该模式关闭了容器的网络功能。
●Bridge：默认为该模式，此模式会为每一个容器分配、设置IP等，并将容器连接到一个docker0虚拟网桥，通过docker0网桥以及iptables nat 表配置与宿主机通信。
●自定义网络

安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host

docker network ls	 或  docker network list			#查看docker网络列表
NETWORK ID     NAME      DRIVER    SCOPE
2b4359d229c6   bridge    bridge    local
0fa580365d39   host      host      local
cc13aa84a223   none      null      local

#使用docker run创建Docker容器时，可以用 --net 或 --network 选项指定容器的网络模式
●host模式：使用 --net=host 指定。
●none模式：使用 --net=none 指定。
●container模式：使用 --net=container:NAME_or_ID 指定。
●bridge模式：使用 --net=bridge 指定，默认设置，可省略。

2、 host模式

相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立IP地址。
Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。
一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。 一个Docker容器一般会分配一个独立的Network Namespace。 但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace， 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置自己的IP等，而是使用宿主机的IP和端口。

 3、container模式

在理解了host模式后，这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。 新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

docker run -itd --name test1 centos:7 /bin/bash			#--name 选项可以给容器创建一个自定义名称

docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED      STATUS       PORTS     NAMES
3ed82355f811   centos:7   "/bin/bash"   5 days ago   Up 6 hours             test1

docker inspect -f '{{.State.Pid}}' 3ed82355f811			#查看容器进程号
25945

ls -l /proc/25495/ns					#查看容器的进程、网络、文件系统等命名空间编号
lrwxrwxrwx 1 root root 0 1月   7 11:29 ipc -> ipc:[4026532572]
lrwxrwxrwx 1 root root 0 1月   7 11:29 mnt -> mnt:[4026532569]
lrwxrwxrwx 1 root root 0 1月   7 11:27 net -> net:[4026532575]
lrwxrwxrwx 1 root root 0 1月   7 11:29 pid -> pid:[4026532573]
lrwxrwxrwx 1 root root 0 1月   7 12:22 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 1月   7 11:29 uts -> uts:[4026532570]

docker run -itd --name test2 --net=container:3ed82355f811 centos:7 /bin/bash
docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED          STATUS          PORTS     NAMES
ff96bc43dd27   centos:7   "/bin/bash"   48 seconds ago   Up 46 seconds             test2
3ed82355f811   centos:7   "/bin/bash"   58 minutes ago   Up 58 minutes             test1

docker inspect -f '{{.State.Pid}}' ff96bc43dd27
27123

ls -l /proc/27123/ns			#查看可以发现两个容器的 net namespace 编号相同
lrwxrwxrwx 1 root root 0 1月   7 12:27 ipc -> ipc:[4026532692]
lrwxrwxrwx 1 root root 0 1月   7 12:27 mnt -> mnt:[4026532690]
lrwxrwxrwx 1 root root 0 1月   7 12:27 net -> net:[4026532575]
lrwxrwxrwx 1 root root 0 1月   7 12:27 pid -> pid:[4026532693]
lrwxrwxrwx 1 root root 0 1月   7 12:27 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 1月   7 12:27 uts -> uts:[4026532691]

 

 4、none模式

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。 也就是说，这个Docker容器没有网卡、IP、路由等信息。这种网络模式下容器只有lo回环网络，没有其他网卡。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

5、 bridge模式

bridge模式是docker的默认网络模式，不用--net参数，就是bridge模式。

相当于Vmware中的 nat 模式，容器使用独立network Namespace，并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。    

（1）当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

（2）从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。 veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。

（3）Docker将 veth pair 设备的一端放在新创建的容器中，并命名为 eth0（容器的网卡），另一端放在主机中， 以 veth* 这样类似的名字命名， 并将这个网络设备加入到 docker0 网桥中。可以通过 brctl show 命令查看。

（4）使用 docker run -p 时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL 查看。
 

 

6：自定义网络

先自定义网络，再使用指定IP运行docker

#直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错
docker run -itd --name test3 --network bridge --ip 172.17.0.10 centos:7 /bin/bash

//创建自定义网络
#可以先自定义网络，再使用指定IP运行docker
docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1"  mynetwork
----------------------------------------------------------------------------------------------------------
#docker1 为执行 ifconfig -a 命令时，显示的网卡名，如果不使用 --opt 参数指定此名称，那你在使用 ifconfig -a 命令查看网络信息时，看到的是类似 br-110eb56a0b22 这样的名字，这显然不怎么好记。
#mynetwork 为执行 docker network list 命令时，显示的bridge网络模式名称。
----------------------------------------------------------------------------------------------------------
docker run -itd --name test4 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash

三：cgroup 限制

 1、资源控制

Docker 通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面， 基本覆盖了常见的资源配额和使用量控制。
Cgroup 是 ControlGroups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等等) 的机制，被 LXC、docker 等很多项目用于实现进程资源控制。Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。

（1）设置CPU使用率上限

Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~1000000。
而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。

docker run -itd --name test5 centos:7 /bin/bash

docker ps -a
CONTAINER ID   IMAGE      COMMAND       CREATED      STATUS       PORTS     NAMES
3ed82355f811   centos:7   "/bin/bash"   5 days ago   Up 6 hours             test5

cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
cat cpu.cfs_quota_us 
-1

cat cpu.cfs_period_us 
100000
---------------------------------------------------------------------------------------------------------
#cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。
#cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。 如果设为50000，表示占用50000/100000=50%的CPU。
---------------------------------------------------------------------------------------------------------

#进行CPU压力测试
docker exec -it 3ed82355f811 /bin/bash
vim /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done

chmod +x /cpu.sh
./cpu.sh

top					#可以看到这个脚本占了很多的cpu资源

#设置50%的比例分配CPU使用时间上限
docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash	#可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh

top					#可以看到cpu占用率接近50%，cgroups对cpu的控制起了效果

#在多核情况下，如果允许容器进程完全占用两个 CPU， 则可以将 cpu-period 设置为 100000（ 即 0.1 秒）， cpu-quota设置为 200000（0.2 秒）。

 （2）设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。
#创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7	
docker run -itd --name c2 --cpu-shares 1024 centos:7

#分别进入容器，进行压力测试
yum install -y epel-release
yum install -y stress
stress -c 4				#产生四个进程，每个进程都反复不停的计算随机数的平方根

#查看容器运行状态（动态更新）
docker stats
CONTAINER ID   NAME             CPU %     MEM USAGE / LIMIT     MEM %     NET I/O          BLOCK I/O         PIDS
c3ee18e65852   c2               66.50%    5.5MiB / 976.3MiB     0.56%     20.4MB / 265kB   115MB / 14.2MB    4
bb02d3b345d8   c1               32.68%    2.625MiB / 976.3MiB   0.27%     20.4MB / 325kB   191MB / 12.7MB    4

可以看到在 CPU 进行时间片分配的时候，容器 c2 比容器 c1 多一倍的机会获得 CPU 的时间片。
但分配的结果取决于当时主机和其他容器的运行状态， 实际上也无法保证容器 c1 一定能获得 CPU 时间片。比如容器 c1 的进程一直是空闲的，那么容器 c2 是可以获取比容器 c1 更多的 CPU 时间片的。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

Cgroups 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它，资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。

 

（3） 设置容器绑定指定的CPU

#先分配虚拟机4个CPU核数
docker run -itd --name test7 --cpuset-cpus 1,3 centos:7 /bin/bash

#进入容器，进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4

#退出容器，执行 top 命令再按 1 查看CPU使用情况。

 2、对内存使用的限制

//-m(--memory=) 选项用于限制容器可以使用的最大内存
docker run -itd --name test8 -m 512m centos:7 /bin/bash

docker stats

//限制可用的 swap 大小， --memory-swap
强调一下，--memory-swap 是必须要与 --memory 一起使用的。

正常情况下，--memory-swap 的值包含容器可用内存和可用 swap。
所以 -m 300m --memory-swap=1g 的含义为：容器可以使用 300M 的物理内存，并且可以使用 700M（1G - 300）的 swap。

如果 --memory-swap 设置为 0 或者 不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同，则容器不能使用 swap。
如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的 swap 空间使用不受限制（宿主机有多少 swap 容器就可以使用多少）。

3、 对磁盘IO配额控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test9 --device-read-bps /dev/sda:1M  centos:7 /bin/bash

--device-write-bps ： 限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

--device-read-iops ：限制读某个设备的iops（次数）
 
--device-write-iops ：限制写入某个设备的iops（次数）

#创建容器，并限制写速度
docker run -it --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

#通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct				#添加oflag参数以规避掉文件系统cache
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 10.0025 s, 1.0 MB/s


#清理docker占用的磁盘空间
docker system prune -a			#可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络

 总结

docker 是什么？
docker是一个go语言开发的应用容器引擎，用来运行容器里的应用。docker是用来管理容器和镜像的一种的工具。

容器引擎： docker  containerd  podman  rocket

容器 和 虚拟机的区别
                           

容器	虚拟机
所有容器共享宿主机内核	每个虚拟机都有独立的操作系统和内核
使用namespace隔离资源，使用cgroup限制资源的最大使用量	完全隔离，每个虚拟机都有独立的硬件资源
秒级启动速度	分钟级启动速度
容器相当于宿主机的进程，性能几乎没有损耗	需要hypervisor虚拟机管理程序对宿主机资源虚拟访问，至少有20~50%资源损耗
单机容量能够支持成百上千个容器	单机容量只能支持最多几个虚拟机

docker 三个核心概念
镜像：是创建容器的基础，也是一个只读的模板文件，里面包含容器中的应用程序所需要的所有内容（包含程序运行文件、配置文件、运行库文件、操作系统、依赖包）

容器：是用镜像运行的实例，容器可以被创建、启动、停止、删除，每个容器之间默认是相互资源隔离的

仓库：是用来保存镜像的地方，有公有仓库和私有仓库之分

docker 镜像操作
docker search  镜像|仓库的关键词
            pull                                       #下载镜像，如果不指定标签则默认使用 :latest 标签
            images                                                                     #查看下载到本地的所有镜像
            rmi 镜像名|镜像ID [-f]                                              #删除镜像
            tag 旧镜像名:旧标签  新镜像名:新标签                   #为本地的镜像添加新的标签
            inspect 镜像名|镜像ID                                            #获取镜像详细信息
            save -o 镜像文件  镜像名|镜像ID                      #存出镜像：将镜像保存成为本地文件
            load -i|<  镜像文件                                         #载入镜像：将镜像文件导入到镜像库中
            login                         #默认登录官方公有仓库
            push 仓库名/镜像名:标签                                        #上传镜像

docker 容器操作
docker create [-it] [--name 容器名]  镜像名:标签                #创建容器
            start  容器名|容器ID                                                #启动容器
            ps [-a]                                                                     #查看容器
            stop   容器名|容器ID      #kill -15                            #停止容器运行
            kill   容器名|容器ID      #kill -9                                 #强制停止容器运行
            rm [-f] 容器名|容器ID     # docker rm [-f] $(docker ps -a -q) 批量删除容器
            inspect 容器名|容器ID                                            
            logs   容器名|容器ID                                               #查看容器运行日志
       exec -it 容器名|容器ID  bash|sh   #进入容器分配一个伪终端，可以在里面操作，exit退出不会停止容器进程
       attach 容器名|容器ID              #连接到正在运行的容器，共享容器屏幕显示，不能在里面操作，ctrl+c退出默认会停止容器进程
          cp  容器ID:文件|目录的绝对路径   宿主机本地文件|目录
          cp  宿主机本地文件|目录   容器ID:文件|目录的绝对路径 
          export -o  容器模板文件  容器名|容器ID                   #导出容器
          export 容器名|容器ID  >  容器模板文件
          import 容器模板文件 -- 容器镜像                              #容器导入
cat 容器模板文件 | docker import - 容器镜像

docker run 启动过程：

-->  检查本地是否有镜像（如果有则使用本地镜像创建容器，如果没有则从仓库拉取镜像再创建容器）

-->  在只读的镜像层上挂载一层可读可写的容器层

 -->  从docker网桥给容器分配一个虚拟接口和IP地址给容器
 -->  使用镜像的默认命令或者指定的命令启动容器，直到容器主进程退出为止

docker run [--name 容器名] [--rm] [-it] [-d]  镜像名:标签  [容器启动命令]
                   -P                              #使用随机端口映射，从32768开始
                   -p  宿主机端口:容器端口         #指定端口映射

docker 网络模式
bridge 
docker默认得网络模式。每个容器都有独立的网络命名空间(net namespace)，每个容器有独立的IP、端口范围(每个容器可以使用相同的端口)、路由、iptables规则等
--network=bridge ，--net=bridge  或者 省略配置

host
容器和宿主机共享网络命名空间，容器和宿主机使用同一个IP、端口范围(容器和宿主机不可以使用相同的端口)等网络资源
--network=host

container
与指定容器共享网络命名空间，两个容器使用同一个IP、端口范围(两个容器不可以使用相同的端口)等网络资源
--network=container:容器名|容器ID

none
每个容器都有独立的网络命名空间，但是容器没有eth0网卡、IP、端口等，只有lo网卡
--network=none

自定义网络
可以自定义创建一个网桥和网段，使得可 自定义容器IP 创建 容器c
docker network create --subnet=新IP网段  --opt "com.docker.network.bridge.name"="新网桥名称"  新网络模式名称
docker run  --network=新网络模式名称  --ip 自定义IP   镜像:标签   [启动命令]

cgroup 资源限制    控制容器进程对 CPU 内存 磁盘IO 的使用量
CPU限制
#设置单个容器进程能够使用的CPU使用率上限
docker run  --cpu-period <单个CPU调度周期时间，值范围1000~1000000>   --cpu-quota <容器进程最大使用的CPU时间，值范围>=1000>

#设置多个容器的CPU占用的百分比（只能在多个容器同时运行且资源紧张时有效）
docker run  --cpu-share <容器进程最大占用的份额，值为1024的倍数>

#设置容器绑定指定CPU
docker run  --cpuset-cpus

内存限制
#设置容器能够使用的内存和swap的大小
docker run -m <内存大小>  --memory-swap=<内存与swap的总大小>
                                       =-1           #不限制swap大小，宿主机有多少则可用多少
                                       =0或不设置    #swap为内存的两倍
                                       =内存的值     #不使用swap
                                       
磁盘IO读写限制
docker run --device-read-bps  <磁盘设备文件:速率(K M G kb mb gb)>     #限制容器在某个磁盘上读的速率
           --device-write-bps <磁盘设备文件:速率(K M G kb mb gb)>     #限制容器在某个磁盘上写的速率
           --device-read-iops  <磁盘设备文件:次数>                    #限制容器在某个磁盘上读的次数
           --device-write-iops <磁盘设备文件:次数>                    #限制容器在某个磁盘上读的次数