Docker资源限制
一、基础知识
blkio： 这个subsystem可以为块设备设定输入/输出限制，比如物理驱动设备（包括磁盘、固态硬盘、USB等）。
cpu： 这个subsystem使用调度程序控制task对CPU的使用。
cpuacct： 这个subsystem自动生成cgroup中task对CPU资源使用情况的报告。
cpuset： 这个subsystem可以为cgroup中的task分配独立的CPU（此处针对多处理器系统）和内存。
devices 这个subsystem可以开启或关闭cgroup中task对设备的访问。
freezer 这个subsystem可以挂起或恢复cgroup中的task。
memory 这个subsystem可以设定cgroup中task对内存使用量的限定，并且自动生成这些task对内存资源使用情况的报告。
perfevent 这个subsystem使用后使得cgroup中的task可以进行统一的性能测试。{![perf: Linux CPU性能探测器，详见https://perf.wiki.kernel.org/index.php/MainPage]}
*net_cls 这个subsystem Docker没有直接使用，它通过使用等级识别符(classid)标记网络数据包，从而允许 Linux 流量.
二、Docker资源限制
环境部署：
Redhat6.5版本
内存=1024M
CPU个数=2
具体部署:
- unlimit -m 对最大内存不进行限制
- ulimit – a 显示当前所有的 limit 信息
一、无限占用内存
[root@server1 ~]# useradd zh ##新建用户zh
[root@server1 ~]# su - zh
[zh@server1 ~]$ ulimit -m
unlimited
[zh@server1 ~]$ :(){ :|:& };: ##shell内存炸弹，无限制开启shell
- 无限制开启shell
二、设定 内存+交换分区 < = 200M
1、安装cgroup服务
[root@server1 ~]# yum search cgroup
[root@server1 ~]# yum install -y libcgroup.x86_64
[root@server1 ~]# /etc/init.d/cgconfig start
[root@server1 ~]# cd /cgroup/memory/
[root@server1 memory]# cat memory.limit_in_bytes ##查看配置文件可知，内存未做限制
9223372036854775807
- 内存限制文件
2、设定资源限制参数：内存+交换分区<=200M
[root@server1 ~]# vim /etc/cgconfig.conf
28 group x1 {
29 memory {
30 memory.limit_in_bytes = 209715200;
31 memory.memsw.limit_in_bytes = 209715200; ##完全限制内存
32 }
33 }
[root@server1 ~]# /etc/init.d/cgconfig restart
[root@server1 ~]# cd /cgroup/memory/x1/
[root@server1 x1]# ls
cgroup.event_control memory.memsw.limit_in_bytes memory.swappiness
cgroup.procs memory.memsw.max_usage_in_bytes memory.usage_in_bytes
memory.failcnt memory.memsw.usage_in_bytes memory.use_hierarchy
memory.force_empty memory.move_charge_at_immigrate notify_on_release
memory.limit_in_bytes memory.oom_control tasks
memory.max_usage_in_bytes memory.soft_limit_in_bytes
memory.memsw.failcnt memory.stat
[root@server1 x1]# cat memory.limit_in_bytes
209715200
[root@server1 x1]# cat memory.memsw.limit_in_bytes
209715200
- Mem used : 419
3、测试
[root@server1 ~]# cd /dev/shm/
[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero of=file bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.073585 s, 1.4 GB/s
[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero of=file bs=1M count=200
Killed
- Mem used : 619 = 419 +200
三、针对用户的内存资源限制
[root@server1 ~]# vim /etc/cgrules.conf
11 zh memory x1/
[root@server1 ~]# /etc/init.d/cgred start
[root@server1 ~]# cd /dev/shm/
[root@server1 shm]# ls
file
[root@server1 shm]# rm -fr file ##删除200M的file文件
测试：
[root@server1 shm]# su - zh
[zh@server1 ~]$ cd /dev/shm/
[zh@server1 shm]$ dd if=/dev/zero of=file bs=1M count=300
Killed
[zh@server1 shm]$ logout
四、针对cpu的限制
对cpu.shares写入整数值可以控制该cgroup获得的时间片
[root@server1 ~]# vim /etc/cgconfig.conf
34 group x2 {
35 cpu {
36 cpu.shares = 100;
37 }
38 }
[root@server1 ~]# /etc/init.d/cgconfig restart
[root@server1 ~]# cd /cgroup/cpu/x2/ ##查看cpu的限制
[root@server1 x2]# cat cpu.shares
100
测试：
[root@server1 ~]# cgexec -g cpu:x2 dd if=/dev/zero of=/dev/null &
[1] 6299
[root@server1 ~]# dd if=/dev/zero of=/dev/null &
[2] 6394
- top 键 查看cpu接近100%
- top键 再按 1 出现两个cpu（只有cpu1可改，cpu0不可改）
- 更改cpu1
[root@server1 ~]# cd /sys/devices/system/cpu/cpu1
[root@server1 cpu1]# cat online ##cpu1在线
1
[root@server1 cpu1]# echo 0 > online ##使cpu1下线
[root@server1 cpu1]# top
示图：cpu1下线，只有cpu0在线，两个进程的cpu之和为100%
五、针对io的限制
[root@server1 ~]# cat /cgroup/blkio/blkio.throttle.read_bps_device ##无io限制
[root@server1 ~]# vim /etc/cgconfig.conf
39 group x3 {
40 blkio {
41 blkio.throttle.read_bps_device ="252:0 1000000"; #设定io输入、输出速率为1M
42 }
43 }
[root@server1 ~]# /etc/init.d/cgconfig restart
测试：
[root@server1 ~]# cgexec -g blkio:x3 dd if=/dev/vda of=/dev/null &
[1] 10424
[root@server1 ~]# yum install -y iotop
[root@server1 ~]# iotop
- io输入、输出基本稳定1M左右
六、进程冻结（进程中止，但依旧存在）
[root@server1 ~]# cat /cgroup/freezer/x4/tasks ##无进程任务
[root@server1 ~]# vim /etc/cgconfig.conf
group x4 {
freezer {}
}
[root@server1 ~]# /etc/init.d/cgconfig restart
[root@server1 ~]# cgexec -g blkio:x3 dd if=/dev/vda of=/dev/null &
[1] 2313
[root@server1 ~]# cd /cgroup/freezer/x4/
[root@server1 x4]# echo 2313 > tasks
[root@server1 x4]# cat freezer.state
THAWED ##进程解冻
测试：
- 进程冻结
[root@server1 x4]# echo FROZEN > freezer.state
示图： ps命令查看进程，进程存在
示图： iotop查看进程，进程不存在，进程冻结
- 进程解冻
[root@server1 x4]# echo THAWED > freezer.state
示图： ps命令查看进程，进程存在
示图： iotop查看进程，进程存在，进程解冻
七、CPU绑定
所谓的cpu绑定，其实将当前进程或线程绑定到固定的CPU核心或者线程绑定到固定的CPU核心来提高系统调度程序的效率来提高程序执行的效率。
[root@server1 ~]# vim /etc/cgconfig.conf
group x5 {
cpuset {
cpuset.cpus = 1; ##2号cpu
cpuset.mems = 0; ##内存片
}
}
[root@server1 ~]# /etc/init.d/cgconfig restart
测试：
当执行x5时，占用cpu1；
[root@server1 ~]# cgexec -g cpuset:x5 dd if=/dev/vda of=/dev/null &
[1] 2285
[root@server1 ~]# top
- 资源优先运行在cpu1上
正常执行dd命令，占用Cpu0（Maybe：Cpu1）
[root@server1 ~]# dd if=/dev/zero of=/dev/null &
[1] 2708