Docker资源控制 CPU 内存 磁盘IO

Docker资源控制

Docker 通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面， 基本覆盖了常见的资源配额和使用量控制。

cgroup 资源限制    控制容器进程对 CPU 内存 磁盘IO 的使用量
Cgroup 是 ControlGroups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等等) 的机制，被 LXC、docker 等很多项目用于实现进程资源控制。Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。

1．CPU 资源控制

（1）设置单个容器进程能够使用的CPU使用率上限（单机限制 只限制单一容器能获得的最大CPU）
 

Linux通过CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~1000000。
而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。

docker run -itd --name test5 centos:7 /bin/bash #运行一个容器

docker ps -a #查看容器ID以便查找容器文件夹
CONTAINER ID   IMAGE      COMMAND       CREATED      STATUS       PORTS     NAMES
3ed82355f811   centos:7   "/bin/bash"   5 days ago   Up 6 hours            test5

--------------------------------------------------------
查看分配周期
cat /sys/fs/cgroup/cpu/docker/cpu.cfs_period_us 
    100000 #100ms周期
--------------------------------------------------------
查看指定容器cpu限制情况
cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
cat cpu.cfs_quota_us 
    -1 #不限制。
--------------------------------------------------------
cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。
cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。 如果设为50000，表示占用50000/100000=50%的CPU。

---

---

---

不限制cpu性能 进行CPU压力测试

启动容器

docker exec -it 3ed82355f811 /bin/bash

安装压力测试工具 

yum install -y epel-release
yum install -y stress

 进行压力测试

stress -c 4
#产生四个进程，每个进程都反复不停的计算随机数的平方根

查看cpu占用 

top     #可以看到这个脚本占了很多的cpu资源

---

---

---

限制cpu性能，设置50%的比例分配CPU使用时间上限

修改配置文件限制性能（50%为调度周期的一半100000ns/2=50000ns） 

语法
docker run  --cpu-period <单个CPU调度周期时间，值范围1000~1000000>   --cpu-quota <容器进程最大使用的CPU时间，值范围>=1000>

docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash    #可以重新创建一个容器并设置限额
或者
cd /sys/fs/cgroup/cpu/docker/3ed82355f81151c4568aaa6e7bc60ba6984201c119125360924bf7dfd6eaa42b/
echo 50000 > cpu.cfs_quota_us

启动容器 

docker exec -it 3ed82355f811 /bin/bash

进行压力测试

stress -c 4
#产生四个进程，每个进程都反复不停的计算随机数的平方根

top

在多核情况下，如果允许容器进程完全占用两个 CPU

则可以将 cpu-period [分配周期] 设置为 100000（ 即 0.1 秒）， cpu-quota [限制] 设置为 200000（0.2 秒 两倍周期 由于双核）。

（2）设置多个容器的CPU占用的百分比（多机限制 只能在多个容器同时运行且资源紧张时有效 低负荷下仍可单一容器占用所有CPU）

Docker 通过 --cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。
创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。

docker run  --cpu-share <容器进程最大占用的份额，值为1024的倍数>
docker run -itd --name c1 --cpu-shares 512 centos:7    
docker run -itd --name c2 --cpu-shares 1024 centos:7

分别进入容器，进行压力测试

yum install -y epel-release
yum install -y stress

stress -c 4                #产生四个进程，每个进程都反复不停的计算随机数的平方根

查看容器运行状态（动态更新）

docker stats

CONTAINER ID   NAME             CPU %     MEM USAGE / LIMIT     MEM %     NET I/O          BLOCK I/O         PIDS
c3ee18e65852   c2               66.50%    5.5MiB / 976.3MiB     0.56%     20.4MB / 265kB   115MB / 14.2MB    4
bb02d3b345d8   c1               32.68%    2.625MiB / 976.3MiB   0.27%     20.4MB / 325kB   191MB / 12.7MB    4

可以看到在 CPU 进行时间片分配的时候，容器 c2 比容器 c1 多一倍的机会获得 CPU 的时间片。
但分配的结果取决于当时主机和其他容器的运行状态， 实际上也无法保证容器 c1 一定能获得 CPU 时间片。比如容器 c1 的进程一直是空闲的，那么容器 c2 是可以获取比容器 c1 更多的 CPU 时间片的。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

Cgroups 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它，资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。

（3）设置容器绑定指定的CPU

若服务器有4个CPU核，分配1,3号核心给容器

docker run  --cpuset-cpus 
docker run -itd --name test7 --cpuset-cpus 1,3 centos:7 /bin/bash

#进入容器，进行压力测试

yum install -y epel-release
yum install stress -y

stress -c 4

#退出容器，执行 top 命令再按 1 查看CPU使用情况。

---

2．对内存使用的限制

对内存进行限制

-m(--memory=) 选项用于限制容器可以使用的最大内存
docker run -itd --name test8 -m 512m centos:7 /bin/bash

查看内存限制情况

docker stats

限制可用的 swap 大小， --memory-swap

--memory-swap 必须要与 --memory 一起使用

正常情况下，--memory-swap 的值包含容器可用内存和可用 swap（总和）。

-m 300m --memory-swap=1g
容器内存总和1G。
容器可以使用 300M 的物理内存，并且可以使用 700M（1G - 300）的 swap。

--memory-swap的取值设置还有以下几种情况

• 如果 --memory-swap 设置为 0 或者 不设置，则容器可以使用的 swap 大小为 -m 值的两倍。
• 如果 --memory-swap 的值和 -m 值相同，则容器不能使用 swap。
• 如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的 swap 空间使用不受限制（宿主机有多少 swap 容器就可以使用多少）。

docker run -m <内存大小>  --memory-swap = <内存与swap的总大小>
                                        = 内存的值     #不使用swap
                                        = -1           #不限制swap大小，宿主机有多少则可用多少
                                        = 0或不设置    #swap为内存的两倍

---

3．对磁盘IO配额控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。

docker run                   --device-read-bps  <磁盘设备文件:速率(K M G kb mb gb)>
docker run -itd --name test9 --device-read-bps /dev/sda:1M  centos:7 /bin/bash
#限制容器在某个磁盘上读的速率

--device-write-bps ： 限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。

docker run                    --device-write-bps <磁盘设备文件:速率(K M G kb mb gb)>
docker run -itd --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
#限制容器在某个磁盘上写的速率

--device-read-iops ：限制读某个设备的iops（次数）

docker run   --device-read-iops  <磁盘设备文件:次数>
#限制容器在某个磁盘上读的次数

--device-write-iops ：限制写入某个设备的iops（次数）

docker run   --device-write-iops <磁盘设备文件:次数>
#限制容器在某个磁盘上读的次数

测试限速（一般限制读写速度，很少限制ipos次数）

创建容器，并限制写速度

docker run -it --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

通过dd来验证写速度

dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct      #添加oflag参数以规避掉文件系统cache
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 10.0025 s, 1.0 MB/s

---

---

---

清理docker占用的磁盘空间

一键删除docker所有的镜像，容器，网络    慎用！

docker system prune -a
可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络

#删除前 镜像 容器 网络
docker images
docker ps -a
docker network ls

#删除所有
docker system prune -a

#删除后 镜像 容器 网络
docker images
docker ps -a
docker network ls