docker使用cgroup控制资源,K8S 里面也有limit(使用上限)
Docker通过cgroup来控制容器使用的资源配额,包括cpu、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。
Cgroup是 Control Groups的缩写,是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘IO等等)的机制
07年谷歌,可以控制资源分配通过操作系统内核,控制应用程序使用内存资源、cpu资源、文件系统资源等等cgroup是一种资源控制手段;也是容器隔离的6个名称空间的一种实现手段
每个容器都相当于一个进程
mkdir /opt/stress
vim /opt/stress/Dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
docker build -t centos:stress . #生成镜像,注意后的.
docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #容器产生10个子函数进程,权重512
docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #权重1024
#重新开一个终端
docker stats #动态监控资源使用
docker提供了--cpu-period
、--cpu-quota
两个参数控制容器可以分配到的 CPU时钟周期。
--cpu-period
是用来指定容器对CPU的使用要在多长时间内做一次重新分配。
--cpu-quota
是用来指定在这个周期内,最多可以有多少时间用来跑这个容器。
--cpu-quota
与--cpu-shares
不同的是,这种配置是指定一个绝对值,容器对CPU资源的使用绝对不会超过配置的值。docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
docker exec -it 570ce6253626 bash
cd /sys/fs/cgroup/cpu #查看资源限制参数
cat cpu.cfs_period_us
cat cpu.cfs_quota_us
#也可以下面操作来查看
docker inspect 570ce6253626
对多核CPU的服务器,Docker还可以控制容器运行使用哪些cPU内核,即使用–cpuset-cpus 参数。
这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置。
docker run -itd --name cpu01 --cpuset-cpus 0-1 centos:stress
#执行以上命令需要宿主机为双核,表示创建的容器只能用0、1两个内核。最终生成的 cgroup的CPU内核配置如下:
cat /sys/fs/cgroup/cpuset/docker/b62061c278e626f5d9ac18082f83c21630e8394c790a6cc1e5a3a338db8f66b2/cpuset.cpus
docker exec -it cpu01 bash -c "stress -c 10" //压力测试,增加10个cpu进程
docker exec 2f49de83ec26(容器ID) taskset -c -p 1
#容器内部第一个进程号PID为1,被绑定到指定cpu上运行
docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
docker exec -it cpu3 bash #进入容器内部查看
top
docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
总结:
上面的 centos:stress 镜像安装了 stress 工具,用来测试 CPU 和内存的负载。通过 在两个容器上分别执行 stress -c 1 命令,
将会给系统一个随机负载,产生 1 个进程。这个进程都反复不停的计算由 rand() 产生随机数的平方根,直到资源耗尽。
观察到宿主机上的 CPU 使用率,第三个内核的使用率接近 100%, 并且一批进程的 CPU 使用率明显存在 2:1 的使用比例的对比。
-m 或 --memory:设置内存的使用限额,例如 100M、1024M。
--memory-swap:设置 内存+swap 的使用限额。
docker run -itd --name test1 -m 1g centos:stress bash
docker stats
#给与容器300M物理内存以及700M交换空间
docker run -itd --name test2 -m 300m --memory-swap=1G centos:7 bash
--blkio-weight
参数来改变 容器 block IO 的优先级。--blkio-weight
与 --cpu-shares
类似,设置的是相对权重值,默认为 500。#限制容器 A 读写磁盘的带宽是容器 B 的两倍。
docker run -it --name container_A --blkio-weight 600 centos:stress
cat /sys/fs/cgroup/blkio/blkio.weight
docker run -it --name container_B --blkio-weight 300 centos:stress
cat /sys/fs/cgroup/blkio/blkio.weight
--device-read-bps,限制读某个设备的 bps。
--device-write-bps,限制写某个设备的 bps。
--device-read-iops,限制读某个设备的 iops。
--device-write-iops,限制写某个设备的 iops。
docker run -it --device-write-bps /dev/sda:5MB centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct //按ctrl+c中断查看
通过 dd 命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上 的,
在容器中写文件相当于对 host /dev/sda 进行写操作。另外,oflag=direct 指定用 direct IO 方式写文件,
这样 --device-write-bps 才能生效。
--build-arg=[] : 设置镜像创建时的变量;
--cpu-shares : 设置 cpu 使用权重;
--cpu-period : 限制 CPU CFS周期;
--cpu-quota : 限制 CPU CFS配额;
--cpuset-cpus : 指定使用的CPU id;
--cpuset-mems : 指定使用的内存 id;
--disable-content-trust :忽略校验,默认开启;
-f : 指定要使用的Dockerfile路径;
--force-rm : 设置镜像过程中删除中间容器;
--isolation : 使用容器隔离技术;
--label=[] : 设置镜像使用的元数据;
-m : 设置内存最大值;
--memory-swap : 设置Swap的最大值为内存+swap,"-1"表示不限swap;
--no-cache : 创建镜像的过程不使用缓存;
--pull : 尝试去更新镜像的新版本;
--quiet, -q : 安静模式,成功后只输出镜像 ID;
--rm : 设置镜像成功后删除中间容器;
--shm-size : 设置/dev/shm的大小,默认值是64M;
--ulimit : Ulimit配置。
--squash : 将 Dockerfile 中所有的操作压缩为一层。
--tag, -t: 镜像的名字及标签,通常 name:tag 或者 name 格式;可以在一次构建中为一个镜像设置多个标签。
--network: 默认 default。在构建期间设置RUN指令的网络模式