docker-简单说说cgroup
前面我们简单说了下namespace， 现在我们来接着简单说说cgroup。通过docker-简单说说namespace文章我们知道： namespace 是为了隔离进程组之间的资源，那cgroup就是为了对进程组的监控和限制资源。Cgroup 可以限制进程组使用的资源数量和分配（包括CPU、内存、网络带宽、磁盘I/O等），并将它们隔离到一个或多个分层的分组中，以实现对进程、任务或用户组的资源限制。这使得 Cgroup 成为用于容器隔离的关键技术，并可以帮助保护系统免受不安全或恶意代码的破坏
什么是cgroup？
cgroup（control groups）是Linux下的一种将进程按组进行管理的机制，在用户层看来，cgroup技术就是把系统中的所有进程组织成一颗一颗独立的树，每棵树都包含系统的所有进程，树的每个节点是一个进程组，而每颗树又和一个或者多个subsystem关联，树的作用是将进程分组，而subsystem的作用就是对这些组进行操作。
主要功能
它主要提供了如下功能：
- Resource limitation: 限制资源使用，比如内存使用上限以及文件系统的缓存限制。
- Prioritization: 优先级控制，比如：CPU利用和磁盘IO吞吐。
- Accounting: 一些审计或一些统计，主要目的是为了计费。
- Control: 挂起进程，恢复执行进程。
核心概念
1- subsystem
cgroup中的subsystem就是一个资源调度控制器(Resource Controller)。subsystem被关联到一颗cgroup 树上，就会在树上节点做具体操作（用来调度或者限制进程的资源）。比如CPU子系统可以控制CPU时间分配，内存子系统可以限制cgroup内存使用量
2- hierarchy
hierarchy由一系列cgroup以一个树状结构排列而成，树的每个节点就是一个进程组，每个hierarchy通过绑定对应的subsystem进行资源调度。hierarchy中的cgroup节点可以包含零或多个子节点，子节点继承父节点的属性。
3- task
在Cgroup中，task就是系统的一个进程
操作
本文使用环境centos3.10.0 , cgroup v1
如何查看当前系统支持哪些subsystem
[root@linjian ~]# cat /proc/cgroups
#subsys_name hierarchy num_cgroups enabled
cpuset 6 9 1
cpu 5 81 1
cpuacct 5 81 1
memory 8 79 1
devices 11 78 1
freezer 10 9 1
net_cls 3 9 1
blkio 2 78 1
perf_event 7 9 1
hugetlb 4 9 1
pids 9 78 1
net_prio 3 9 1subsys_name： subsystem的名字
hierarchy： subsystem关联的cgroup树的id，如果多个subsystem关联到同一颗cgroup树，那么他们的hierarchy数据一样。
当以下情况，hierarchy 字段将为0：
- 当前subsystem没有和任何cgroup树绑定
- 当前subsystem已经和cgroup v2的树绑定
- 当前subsystem没有被内核开启
num_cgroups：subsystem关联cgroup树中进程组的个数（树上节点的个数）。
enabled：1：开启，0：关闭
查看cgroup是否开启
[root@linjian ~]# uname -r
3.10.0-1160.24.1.el7.x86_64
[root@linjian ~]# cat /boot/config-3.10.0-1160.24.1.el7.x86_64 | grep CGROUP
CONFIG_CGROUPS=y # y 已经开启了
# CONFIG_CGROUP_DEBUG is not set
CONFIG_CGROUP_FREEZER=y
CONFIG_CGROUP_PIDS=y
CONFIG_CGROUP_DEVICE=y
CONFIG_CGROUP_CPUACCT=y
CONFIG_CGROUP_HUGETLB=y
CONFIG_CGROUP_PERF=y
CONFIG_CGROUP_SCHED=y
CONFIG_BLK_CGROUP=y
# CONFIG_DEBUG_BLK_CGROUP is not set
CONFIG_NETFILTER_XT_MATCH_CGROUP=m
CONFIG_NET_CLS_CGROUP=y
CONFIG_NETPRIO_CGROUP=y查看cgroup 使用版本
stat -fc %T /sys/fs/cgroup/ 如果v2，输出为 cgroup2fs ；v1 输出 tmpfs
[root@linjian ~]# stat -fc %T /sys/fs/cgroup/
tmpfs查看当前进程属于哪些cgroup
[root@linjian ~]# cat /proc/$$/cgroup
11:devices:/user.slice
10:freezer:/
9:pids:/user.slice
8:memory:/user.slice
7:perf_event:/
6:cpuset:/
5:cpuacct,cpu:/user.slice
4:hugetlb:/
3:net_prio,net_cls:/
2:blkio:/user.slice
1:name=systemd:/user.slice/user-0.slice/session-1422.scope冒号隔开
第一个：cgroup树的ID与/proc/cgroups文件中的ID一一对应。
第二个：和cgroup树绑定的所有subsystem（多个subsystem用逗号隔开）。如果name=systemd，表示没有和任何subsystem绑定。
第三个：进程在cgroup树中的路径（挂载点的相对路径），即进程所属的cgroup。
查看目前Linux支持的subsystem（12种）
[root@linjian ~]# ls -lh /sys/fs/cgroup
total 0
drwxr-xr-x 5 root root 0 Dec 26 23:00 blkio
lrwxrwxrwx 1 root root 11 Dec 26 23:00 cpu -> cpu,cpuacct
lrwxrwxrwx 1 root root 11 Dec 26 23:00 cpuacct -> cpu,cpuacct
drwxr-xr-x 8 root root 0 Jan 2 10:01 cpu,cpuacct
drwxr-xr-x 3 root root 0 Dec 26 23:00 cpuset
drwxr-xr-x 5 root root 0 Dec 26 15:02 devices
drwxr-xr-x 3 root root 0 Dec 26 23:00 freezer
drwxr-xr-x 3 root root 0 Dec 26 23:00 hugetlb
drwxr-xr-x 6 root root 0 Jan 2 10:01 memory
lrwxrwxrwx 1 root root 16 Dec 26 23:00 net_cls -> net_cls,net_prio
drwxr-xr-x 3 root root 0 Dec 26 23:00 net_cls,net_prio
lrwxrwxrwx 1 root root 16 Dec 26 23:00 net_prio -> net_cls,net_prio
drwxr-xr-x 3 root root 0 Dec 26 23:00 perf_event
drwxr-xr-x 5 root root 0 Dec 26 23:00 pids
drwxr-xr-x 5 root root 0 Dec 26 23:00 systemd- cpu ：限制cgroup的CPU使用率。
- cpuacct ：统计cgroup的CPU的使用率。
- cpuset：绑定cgroup到指定CPUs和NUMA节点。
- memory ：统计和限制cgroup的内存的使用率，包括process memory, kernel memory, 和swap。
- devices ：限制cgroup创建(mknod)和访问设备的权限。
- freezer ：suspend和restore一个cgroup中的所有进程。
- net_cls ：将一个cgroup中进程创建的所有网络包加上一个classid标记，用于tc和iptables。 只对发出去的网络包生效，对收到的网络包不起作用。
- blkio ：限制cgroup访问块设备的IO速度。
- perf_event ：对cgroup进行性能监控
- net_prio ：针对每个网络接口设置cgroup的访问优先级。
- hugetlb ：限制cgroup的huge pages的使用量。
- pids ：限制一个cgroup及其子孙cgroup中的总进程数。
cgroup操作
挂载cgroup
[root@linjian home]# mkdir cgroupTest
[root@linjian home]# cd cgroupTest/
[root@linjian cgroupTest]# ls
[root@linjian cgroupTest]# mkdir demo01
# 创建一颗新的cgroup树，然后挂载到demo01目录
[root@linjian cgroupTest]# mount -t cgroup -o none,name=demo01 demo01 ./demo01
[root@linjian cgroupTest]# cd demo01/
[root@linjian demo01]# ls -lha
total 4.0K
drwxr-xr-x 2 root root 0 Jan 3 20:47 .
drwxr-xr-x 3 root root 4.0K Jan 3 20:44 ..
-rw-r--r-- 1 root root 0 Jan 3 20:47 cgroup.clone_children
--w--w--w- 1 root root 0 Jan 3 20:47 cgroup.event_control
-rw-r--r-- 1 root root 0 Jan 3 20:47 cgroup.procs
-r--r--r-- 1 root root 0 Jan 3 20:47 cgroup.sane_behavior
-rw-r--r-- 1 root root 0 Jan 3 20:47 notify_on_release
-rw-r--r-- 1 root root 0 Jan 3 20:47 release_agent
-rw-r--r-- 1 root root 0 Jan 3 20:47 tasks
[root@linjian demo01]# wc -l cgroup.procs
131 cgroup.procs创建/删除cgroup
[root@linjian demo01]# mkdir cgroupT01 // 创建子cgroup
[root@linjian demo01]# cd cgroupT01/
[root@linjian cgroupT01]# ls
cgroup.clone_children cgroup.event_control cgroup.procs notify_on_release tasks
[root@linjian cgroupT01]# wc -l cgroup.procs
0 cgroup.procs
[root@linjian cgroupT01]# cd ..
[root@linjian demo01]# rmdir cgroupT01 // 删除
[root@linjian demo01]# ls
cgroup.clone_children cgroup.event_control cgroup.procs cgroup.sane_behavior notify_on_release release_agent tasks限制进程数
客户端1
[root@linjian ~]# mount|grep pids
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
[root@linjian ~]# cd /sys/fs/cgroup/pids/
[root@linjian pids]# mkdir limitTest
[root@linjian pids]# cd limitTest/
[root@linjian limitTest]# ls
cgroup.clone_children cgroup.event_control cgroup.procs notify_on_release pids.current pids.max tasks
[root@linjian limitTest]# cat pids.max
max
[root@linjian limitTest]# cat pids.current
0
[root@linjian limitTest]# echo 1 > pids.max
[root@linjian limitTest]# echo $$ > cgroup.procspids.current: 表示当前cgroup及其所有子孙cgroup中现有的总的进程数量
pids.max: 当前cgroup及其所有子孙cgroup中所允许创建的总的最大进程数量
客户端2
[root@linjian ~]# cd /sys/fs/cgroup/pids/
[root@linjian pids]# mkdir limitTest
[root@linjian pids]# cd limitTest/
[root@linjian limitTest]# ls
cgroup.clone_children cgroup.event_control cgroup.procs notify_on_release pids.current pids.max tasks
[root@linjian limitTest]# cat pids.max
max
[root@linjian limitTest]# cat pids.current
0客户端1
# 创建新进程失败
[root@linjian limitTest]# ls
-bash: fork: retry: No child processes
-bash: fork: retry: No child processes
-bash: fork: retry: No child processes限制内存使用
[root@linjian ~]# mount|grep memory
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
[root@linjian ~]# cd /sys/fs/cgroup/memory
# 创建子group
[root@linjian memory]# mkdir limitTest
[root@linjian memory]# cd limitTest/
[root@linjian limitTest]# ls
cgroup.clone_children memory.kmem.limit_in_bytes memory.kmem.tcp.usage_in_bytes memory.memsw.max_usage_in_bytes memory.soft_limit_in_bytes tasks
cgroup.event_control memory.kmem.max_usage_in_bytes memory.kmem.usage_in_bytes memory.memsw.usage_in_bytes memory.stat
cgroup.procs memory.kmem.slabinfo memory.limit_in_bytes memory.move_charge_at_immigrate memory.swappiness
memory.failcnt memory.kmem.tcp.failcnt memory.max_usage_in_bytes memory.numa_stat memory.usage_in_bytes
memory.force_empty memory.kmem.tcp.limit_in_bytes memory.memsw.failcnt memory.oom_control memory.use_hierarchy
memory.kmem.failcnt memory.kmem.tcp.max_usage_in_bytes memory.memsw.limit_in_bytes memory.pressure_level notify_on_release
[root@linjian limitTest]#
# 查看使用的情况
[root@linjian limitTest]# cat memory.usage_in_bytes
0
# 查看限定额度
[root@linjian limitTest]# cat memory.limit_in_bytes
9223372036854771712
# 限定64k
[root@linjian limitTest]# echo 64k > memory.limit_in_bytes
限制cpu使用
[root@linjian memory]# mount|grep cpu
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
[root@linjian memory]# cd /sys/fs/cgroup/cpu,cpuacct
[root@linjian cpu,cpuacct]# mkdir limitTest
[root@linjian cpu,cpuacct]# cd limitTest/
[root@linjian limitTest]# ls
cgroup.clone_children cgroup.procs cpuacct.usage cpu.cfs_period_us cpu.rt_period_us cpu.shares notify_on_release
cgroup.event_control cpuacct.stat cpuacct.usage_percpu cpu.cfs_quota_us cpu.rt_runtime_us cpu.stat tasks
[root@linjian limitTest]# cat cpu.cfs_quota_us
-1
# 设置只能使用1个cpu的20%的时间
[root@linjian limitTest]# echo 20000 > cpu.cfs_quota_us
[root@linjian limitTest]# cat cpu.cfs_quota_us
20000
[root@linjian limitTest]# echo $$
12649
[root@linjian limitTest]# echo 12649 > cgroup.procs
[root@linjian limitTest]# while :; do echo limitTest > /dev/null; done
客户端2
# 可以看到已经占满了
[root@linjian ~]# top
top - 21:43:19 up 8 days, 6:42, 8 users, load average: 0.01, 0.02, 0.05
Tasks: 135 total, 2 running, 133 sleeping, 0 stopped, 0 zombie
%Cpu(s): 8.0 us, 4.7 sy, 0.0 ni, 86.8 id, 0.0 wa, 0.0 hi, 0.5 si, 0.0 st
KiB Mem : 3880104 total, 112104 free, 1317032 used, 2450968 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 2281320 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12649 root 20 0 115648 2196 1716 R 20.3 0.1 0:07.64 bash
[root@linjian ~]# cat /sys/fs/cgroup/cpu,cpuacct/limitTest/cpu.stat
nr_periods 462 #表示过去了多少个cpu.cfs_period_us里面配置的时间周期
nr_throttled 460 # 在上面的这些周期中，有多少次是受到了限制
throttled_time 36266699145 # cgroup中的进程被限制使用CPU持续了多长时间(纳秒)
cgroup和namespace区别
namespace：为了隔离进程组之间的资源
cgroup：为了对一组进程进行的资源监控和限制。