Docker网络模式与cgroups资源控制

目录

1.docker网络模式原理

2.端口映射

3.Docker网络模式（4+1种）

1.查看docker网络列表

2.网络模式详解

4.Docker cgroups资源控制

 1.CPU资源控制

2.对内存使用的限制

3.对磁盘IO的配置控制（blkio）的限制

4.清除docker占用的磁盘空间

总结

1.对cpu的限制参数

2.对内存的限制

3.对磁盘IO的限制

---

1.docker网络模式原理

       docker 使用linux 桥接，在宿主机虚拟一个docker 容器网桥（docker0) ，docker 启动一个容器时会根据docker 网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker 网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的 Container-IP 直接通信。

       docker 网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过Container-IP 访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主机（端口映射），即 docker run 创建容器时候，通过 -p 或者 -P 参数来启用。访问容器的时候，就通过 [宿主机IP]:[映射端口] 访问容器。
 

2.端口映射

法一
#随机映射端口(从32768开始)
docker run -d --name 为容器指定名称 -P 镜像名称
 
法二
#自定义映射端口
docker run -d --name 为容器指定名称 -p 宿主机端口:容器端口 镜像名称

法一：

 

法二：

 

 

 验证结果

 查看端口

 

3.Docker网络模式（4+1种）

（1）Host： 容器不会虚拟出自己的网卡，配置主机的IP等,而是使用宿主机的IP和端口
（2）Container： 创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP，端口范围
（3）None： 该模式关闭了容器的网络功能。
（4）Bridge： 默认为该模式，此模式会为每一个容器分配，设置IP等，并将容器连接到一个docker0 的虚拟网桥，通过docker 0 网桥以及iptables nat 表配置与宿主机通信。
（5）自定义网络
安装Docker 时，它会自动创建三个网络：bridge（创建容器默认连接到此网络）、none、host。
 

1.查看docker网络列表

docker network ls 或 docker network list   

 使用docker run 创建Docker容器时可以使用--net或--network选项指定容器的网络模式 

host模式：使用--net=host指定
 
none模式：使用--net=none指定
 
container模式：使用--net=container:NAME或者ID指定
 
bridge模式：使用--net+bridge指定，默认设置可省略

2.网络模式详解

1.host模式
      1. 相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立IP地址。

      2.Docker使用了Linux的Namespaces技术来进行资源隔离，如PTD Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。

      3.一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。

      4.一个Docker容器一般会分配一个独立的Network Namespace。但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置白己的IP等，而是使用宿主机的IP和端口。

 

2.container模式

       在理解了host模式后，这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

查看容器的pid号

docker inspect -f '{{.State.Pid}}' 容器名或ID

查看命名空间编号

ls -l /proc/PID号/ns

 

3.none模式

     1.使用none 模式，docker 容器有自己的network Namespace ，但是并不为Docker 容器进行任何网络配置。也就是说，这个Docker 容器没有网卡，ip， 路由等信息。
      2.这种网络模式下，容器只有lo 回环网络，没有其他网卡。
      3.这种类型没有办法联网，但是封闭的网络能很好的保证容器的安全性。
      4.该容器将完全独立于网络，用户可以根据需要为容器添加网卡。此模式拥有所有端口。（none网络模式配置网络
      5.特殊情况下才会用到，一般不用。
 

 

4.bridge 模式

      1.相当于Vmware中的 nat 模式，容器使用独立network Namespace，并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。
       2.当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。
        3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
         4.Docker将veth pair 设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中， 以veth*这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过 brctl show 命令查看。
         5.使用 docker run -p 时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL 查看。

 

docker inspect  test3 | grep -i 'networkmode'

 

5.自定义网络

  直接使用bridge 模式，还是无法指定IP运行docker

ifcongfig
#直接使用bridge模式，是无法支持指定IP运行docker的，例如执行以下命令就会报错
docker run -id --name test4 --network bridge --ip 172.17.0.1 centos:7 
bash
 

 

创建自定义网络

//创建自定义网络
#可以先自定义网络,再使用指定IP运行docker 
docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetwork
------------------
 
#docker1为执行ifconfig -a命令时，显示的网卡名，使用--opt参数指定名称
 
#mynetwork 为执行 docker network list 命令时，显示的bridge网络模式名称。
------------------
 
docker run -itd --name test8 --network mynetwork --ip 172.18.0.10 nginx:latest /bin/bash
docker inspect test5 |grep IPAddress
#查看ip地址

 

4.Docker cgroups资源控制

   1.CPU资源控制

       cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace隔离起来的资源，还可以为资源设置权、计算使用量、操控进程启停等等。所以cgroups（Control groups）实现了对资源的配额和度量。

  1.cgroups四大功能

  （1）资源限制：可以对任务使用的资源总额进行限制；

  （2）优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级；

  （3）资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等；

  （4）任务控制：cgroup可以对任务执行挂起、恢复等操作。

    2.设置CPU使用率上限

  （1）Linux通过CFS（Completely Fair scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
  （2）我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。
  （3）使用--cpu-period 即可设置调度周期，使用--cpu-quota即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。CFS周期的有效范围是1ms～1s，对应的--cpu-period 的数值范围是1000~1000000(微秒)。
 （4）容器的CPU配额必须不小于1ms，即--cpu-quota的值必须>=1000。
 

查看容器默认CPU使用限制

docker run -itd --name c1 centos:7 /bin/bash
cd /sys/fs/cgroup/cpu/docker/
ls
cd 4f2ffa469e17d8b6e1e2d6c356363b8c9710204748abc769a4fcbd303d74f71f/
cat cpu.cfs_quota_us
----------------------
-1
cat cpu.cfs_period_us
------------
100000

 

 

进行压力测试

docker exec -it c1 bash 
vi /cpu.sh
------------------------
#!/bin/bash
i=0
while true
do
 let i++
done
------------------------
chmod +x cpu.sh  #给脚本权限
./cpu.sh         #运行脚本
 top             #查看cpu使用率

 

另一个终端查看CPU使用率 

 停止运行脚本

再查看cpu使用率 

 

 创建容器时设置CPU使用时间限制

docker run -itd --name test2 --cpu-quota 50000 centos:7
cd /sys/fs/cgroup/cpu/docker/
ls
cd a8c9e47344cb7b98579340f0b05361d9c789dcbcb6160e7874445eec5950bd4e/
cat cpu.cfs_quota_us
---------------------------
50000 最高限额为设置的50000

 

编写脚本进行测试

docker exec -it test2 bash
vi /cpu.sh
--------------------------
#!/bin/bash
i=0
while true
do
 let i++
done
--------------------------
chmod +x cpu.sh
./cpu.sh   #执行脚本

 

容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU  

 对已存在的容器进行CPU限制

直接修改/sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us文件即可

cd /sys/fs/cgroup/cpu/docker/
ls
cd 4f2ffa469e17d8b6e1e2d6c356363b8c9710204748abc769a4fcbd303d74f71f/
ls
echo "33000" >cpu.cfs_quota_us
cat cpu.cfs_quota_us 
#进入c1容器
docker exec -it c1 bash 
./cpu.sh  #执行刚才创建的脚本

 

 

3.设置cpu资源占用比（设置多个容器时才有效）

Docker 通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数

#创建两个容器为t1和t2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name t1 --cpu-shares 512 centos:7
docker run -itd --name t2 --cpu-shares 1024 centos:7

#进入容器t1，进行压力测试
docker exec -it t1 bash
yum install -y epel-release   #安装在线源
yum install -y stress         #安装检测软件
stress -c4   #产生四个进程，每个进程都反复不停的计算随机数的平方根
 
#进入容器t2，进行压力测试
docker exec -it t2 bash
yum install -y epel-release   #安装在线源
yum install -y stress         #安装检测软件
stress -c 4   #产生四个进程，每个进程都反复不停的计算随机数的平方根
 

容器t1

 

 

容器t2 

 

#查看容器运行状态（动态更新）
docker stats

 

4.设置容器绑定指定的CPU

#先分配虚拟机4个CPU核数
docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash
#--cpuset-cpus：指定绑定核数可以是多个
#注意这里的核号是从0开始 指定的1，3代表第二个核和第四个核
 
 
yum install -y epel-release
yum install stress -y 
stress -c 4

 

 另一个终端输入top后按1 

 

2.对内存使用的限制

 1.限制容器可以使用的最大内存

-m（--memory=）：用于限制容器可以使用的最大内存

docker run -itd --name c4 -m 512m centos:7 /bin/bash
 
docker stats

2.限制容器可用的swap 大小 

 限制可用的swap 大小，--memory-swap
 强调一下， --memory-swap是必须要与 --memory（或-m）一起使用的。
 正常情况下， --memory-swap 的值包含容器可用内存和可用swap 。
 所以 -m 300m --memory-swap=1g 的含义为：容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M)的swap。
 ​
 如果 --memory-swap 的值设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
 如果 --memory-swap 的值和 -m 值相同，则容器不能使用swap。
 如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。

3.对磁盘IO的配置控制（blkio）的限制

 --device-read-bps:限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
 例: docker run -itd --name test9 --device-read-bps /dev/sda:1M centos:7 /bin/bash
 #表示该容器每秒只能读取1M的数据量
 ​
 --device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。
 例: docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
 #表示该容器每秒只能写入1M的数据量
 ​
 --device-read-iops :限制读某个设备的iops (次数)
 --device-write-iops :限制写入某个设备的iops ( 次数)

1.创建容器，不限制写速度

 #创建容器tt01，不限制写入速度
 docker run -it --name t3 centos:7 /bin/bash
 ​
 #通过dd来验证写速度，拷贝50M的数据
 dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct   #添加oflag参数以规避掉文件系统cache

 2.创建容器，并限制写速度

#创建容器，并限制写入速度为1MB/s，即每秒只能写入1MB的数据量。
docker run -it --name t2 --device-write-bps /dev/sda:1mb centos:7 bash
#通过dd来验证写速度，拷贝50M的数据到容器中
dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct  #添加oflag参数以规避掉文件系统cache

 

4.清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。

示例：

#查看容器
docker ps -a
#清理磁盘，删除关闭的容器、无用的数据卷和网络。
docker system prune -a
#再次查看容器，只剩下启动中的容器
docker ps -a

  留下运行中的容器

 

总结

1.对cpu的限制参数

 docker run -cpu-period     #设置调度周期时间1000~1000000
            -cpu-quota      #设置容器进程的CPU占用时间，要与调度周期时间成比例
            --cpu-shares    #设置多个容器之间的CPU资源占用比
            --cpuset-cpus   #绑核（第一个CPU编号从0开始）

2.对内存的限制

 -m 物理内存 [--memory-swap=总值]

3.对磁盘IO的限制

 --device-read-bps 设备文件:1mb/1M     #限制读速度
 --device-write-bps 设备文件:1mb/1M    #限制写速度
 --device-read-iops                   #限制读次数
 --device-write-iops                  #限制写次数
 ​docker system prune -a             #释放无用的资源