程序员都在学的docker--Docker资源控制Cgroup（加权值、周期限制、核心数、内存、读写速度等）

Cgroup概述

1. Docker通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

2. Cgroup 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制。

Cgroup 子系统：

• blkio：设置限制每个块设备的输入输出控制；
• cpu：使用调度程序为 cgroup 任务提供 cpu 的访问；
• cpuacct：产生 cgroup 任务的 cpu 资源报告；
• cpuset：如果是多核心的 cpu，这个子系统会为 cgroup 任务分配单独的 cpu 和内存；
• devices：允许或拒绝 cgroup 任务对设备的访问；
• freezer：暂停和恢复 cgroup 任务；
• memory：设置每个 cgroup 的内存限制以及产生内存资源报告；
• net_cls：标记每个网络包以供 cgroup 方便使用；
• ns：命名空间子系统；
• perf_event：增加了对每个 cgroup 的监测跟踪能力，可以监测属于某个特定的 cgroup 的所有线程及运行在特定 CPU 上的线程；

1 使用 stress 工具测试 CPU 和内存

stress 是Unix类系统下的工作量和压力测试工具。

编辑一个Dockerfile文件生成压力测试容器镜像

[root@localhost ~]# mkdir /opt/stress
[root@localhost ~]# vim /opt/stress/Dockerfile
FROM centos:7
MAINTAINER this is a software
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

开始构建镜像

[root@localhost ~]# cd /opt/stress/
[root@localhost stress]# docker build -t centos:stress .
...
省略部分内容
Successfully built c1c1a5892b12
Successfully tagged centos:stress

2 CPU弹性的加权值–cpu-shares

默认情况下，每个 Docker 容器的CPU的份额都是1024，所以要使用多个容器来验证CPU弹性的加权值。

我们可以同时运行两个容器，将CPU份额分别设置为1000 和 500，然后进行压力测试，我们会发现，在 CPU 进行时间片分配的时候，容器A比容器B多一倍的机会获得 CPU 的时间片。但并不是绝对的，这只是一个理论上的结果，实际上还要考虑到容器的运行状态。如果一个容器的进程一直是空闲的，那么其他容器是可以获取比空闲容器更多的 CPU 时间片。

极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10     ##创建容器，–cpu-shares设置为512，并在其中运行10个进程进行测试
2318f2039a2487cf36368929e434dda5f1811e13a509bb14df6923f87e523258
[root@localhost stress]# docker exec -it 2318 /bin/bash    ##进入容器
[root@2318f2039a24 /]# top   ##动态查看进程

这时候不关闭容器，使用ctrl+p+q快捷键退出容器，这样的容器仍然处于运行状态中。

然后再创建一个同样的容器，其他设置都相同，只是将–cpu-shares值改为1024，是原来的一倍。

[root@localhost ~]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
f19ca9e49a5a000cc613e30c243efdfa6987c6e6624888f19d4642b2f62145a1
[root@localhost ~]# docker exec -it f19ca bash
[root@f19ca9e49a5a /]# top

查看原来创建的–cpu-shares值为512的容器动态进程

通过进入容器，观察两个容器的 %CPU，可以发现比例是 1:2

3 周期限制–cpu-period、–cpu-quota

–cpu-period、–cpu-quota 控制容器 CPU 时钟周期

• –cpu-period ：是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
• –cpu-quota ：是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。

与 --cpu-shares 不同的是。这种配置是指定一个绝对值，容器对 CPU 资源的使用绝对不会超过配置的值。

注意：

• cpu-period 和 cpu-quota 的单位是微秒；
• cpu-period 的最小值是1000微秒，最大值为1秒，默认值为0.1秒。
• cpu-quota 的值默认是 -1 ，表示不做控制；
• cpu-period 和 cpu-quota 参数一般联合使用。
• 容器进程需要每一秒使用单个 CPU 的0.2秒时间，可以将 cpu-period 设置为 1000000（即1秒），cpu-quota 设置为 200000（0.2秒）。当然，在多核情况下，如果允许容器进程完全占有两个 CPU，则可以将 cpu-period 设置为 100000（即0.1秒），cpu-quota 设置为 200000（0.2秒）

[root@localhost ~]# docker run -itd --name cputest --cpu-period 100000 --cpu-quota 200000 centos:stress
2bc745b9105afc875be32329646829fcf0da926de1181049962ca4f60b4fda20
[root@localhost ~]# docker exec -it 2bc bash
[root@2bc745b9105a /]#  cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@2bc745b9105a /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us  
200000

4 CPU Core控制-cpuset-cpus

对于多核 CPU 的服务器，Docker 还可以控制容器运行使用哪些 CPU 内核，即使用 --cpuset-cpus 参数，。这对具有多 CPU 的服务器尤其有用，可以对需要高性能计算的容器进行性能最优配置。

[root@localhost ~]# docker run -itd --name cpu02 --cpuset-cpus=0-1 centos:stress
13404cbf293689bacecb121cb81a9938d0456fc0b529e9df2008bac03fe81eac
[root@localhost ~]# docker exec -it 134 bash
[root@13404cbf2936 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1
[root@13404cbf2936 /]# top    ##进入动态进程后按1，可以查看cpu核心数

执行以下命令也可以查看cpu核心数

在容器外执行
[root@localhost ~]# docker exec 134 taskset -c -p 1
pid 1's current affinity list: 0,1

进入容器中进行压力测试

[root@localhost ~]# docker exec -it 134 bash
[root@13404cbf2936 /]# stress -c 10     ##生成10个进程进行压测
这里会进入一个挂起的状态，需要重新打开一个终端

5 CPU配额控制参数混合使用

通过 cpuset-cpus 参数指定容器 A 使用 CPU 内核 0，容器B 只是用 CPU 内核1；在主机上只有这两个容器使用对应 CPU 内核的情况，它们各自占有全部的内核资源，cpu-shares 没有明显效果。cpuset-cpus、cpuset-mems 参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。在系统具有多个 CPU 内核的情况下，需要通过 cpuset-cpus 参数为设置容器 CPU 内核才能方便地进行测试。

[root@localhost ~]# docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
cd3cf4751f4bf86fd39d48856852e82e2f5825edbe4e8645fe4c3241aba0fa28
[root@localhost ~]# docker exec -it cd3c bash
[root@cd3cf4751f4b /]# top

[root@localhost ~]# docker run -itd --name cpu0 --cpuset-cpus 0 --cpu-shares 1024 centos:stress stress -c 1
0741ccf6c0785919f189828d2ca73f950d149cb6f85bc2becbfc4e175aeb1547
[root@localhost ~]# docker exec -it  07 bash
[root@0741ccf6c078 /]# top

6 内存限额

与操作系统类似，容器可使用的内存包括两部分：物理内存 和 Swap；

docker 通过下面两组参数来控制容器内存的使用量：

-m 或 --memory：设置内存的使用限额，例如 100M、1024M；
–memory-swap：设置内存 +swap 的使用限额。
例如：执行如下命令允许该容器最多使用 200M的内存，100M 的swap：

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
   --vm 1：启动1个内存工作线程；
   --vm-bytes 280M ：每个线程分配280M内存；
   -m：设置内存限制为200M
   -memory-swap：设置内存加swap的使用限额

如果让工作线程分配的内存超过 300M，分配的内存超过限额，stress线程报错，容器退出：
[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M

7 Block IO 的限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置 --blkio-weight 参数来改变容器 block IO 的优先级。

–blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500
在下面的例子中，容器 A 读写磁盘的带宽是容器 B 的两倍：

[root@localhost ~]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@e7724bcbae3e /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

[root@localhost ~]# docker run -it --name container_B --blkio-weight 300 centos:stress
[root@d6436ffff380 /]# cat /sys/fs/cgroup/blkio/blkio.weight
300

8 bps 和 iops 的限制

• bps ：是 byte per second，每秒读写的数据量；

• iops ：是 io per second，每秒 IO 的次数；

可以通过以下的参数来控制 bps 和 iops：

• device-read-bps：限制读某个设备的 bps；
• device-write-bps：限制写某个设备的 bps；
• device-read-iops：限制读某个设备的 iops；
• device-write-iops：限制写某个设备的 iops。

例如：
限制容器 写 /dev/sda 磁盘的速率为 5MB/s：

[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress  
[root@fbb939e6dbfa /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
需要等待一会再按下ctrl+c
^C66+0 records in
66+0 records out
69206016 bytes (69 MB) copied, 13.2298 s, 5.2 MB/s
可见读写速度被限制到5MB/s

正常读写速度

[root@localhost ~]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
^C记录了496+0 的读入
记录了496+0 的写出
520093696字节(520 MB)已复制，3.05451 秒，170 MB/秒