Docker容器的cgroup搭建

一，基本知识

1.什么是cgroup
Cgroups 是 control groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由 google 的工程师提出，后来被整合进 Linux 内核。Cgroups 也是 LXC 为实现虚拟化所使用的资源管理手段，可以说没有cgroups就没有LXC。

2.cgroup可以干什么

(1)限制进程组可以使用的资源数量（Resource limiting ）。比如：memory子系统可以为进程组设定一个memory使用上限，一旦进程组使用的内存达到限额再申请内存，就会出发OOM（out of memory）。

(2)进程组的优先级控制（Prioritization ）。比如：可以使用cpu子系统为某个进程组分配特定cpu share。

(3)记录进程组使用的资源数量（Accounting ）。比如：可以使用cpuacct子系统记录某个进程组使用的cpu时间

(4)进程组隔离（Isolation）。比如：使用ns子系统可以使不同的进程组使用不同的namespace，以达到隔离的目的，不同的进程组有各自的进程、网络、文件系统挂载空间。

(5)进程组控制（Control）。比如：使用freezer子系统可以将进程组挂起和恢复。

3.cgroup中需要了解的四个概念

(1)Subsystems: 称之为子系统，一个子系统就是一个资源控制器，比如 cpu子系统就是控制cpu时间分配的一个控制器。

(2)Hierarchies: 可以称之为层次体系也可以称之为继承体系，指的是Control Groups是按照层次体系的关系进行组织的。

(3)Control Groups: 一组按照某种标准划分的进程。进程可以从一个Control Groups迁移到另外一个Control Groups中，同时Control Groups中的进程也会受到这个组的资源限制。
(4)Tasks: 在cgroups中，Tasks就是系统的一个进程。

二、cgroup的部署

对cpu内存的限制
1.打开docker并检测cgroup是否开启

[root@server1 ~]# systemctl start docker
[root@server1 ~]# mount -t cgroup 		 ##都显示on即可
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)

2.查看cgroup子系统的层级路径

[root@server1 ~]# cd /sys/fs/cgroup/
[root@server1 cgroup]# ll
total 0
drwxr-xr-x 5 root root  0 Jun  3 10:26 blkio
lrwxrwxrwx 1 root root 11 Jun  3 10:26 cpu -> cpu,cpuacct
lrwxrwxrwx 1 root root 11 Jun  3 10:26 cpuacct -> cpu,cpuacct
drwxr-xr-x 5 root root  0 Jun  3 10:26 cpu,cpuacct
drwxr-xr-x 3 root root  0 Jun  3 10:26 cpuset
drwxr-xr-x 5 root root  0 Jun  3 10:26 devices
drwxr-xr-x 3 root root  0 Jun  3 10:26 freezer
drwxr-xr-x 3 root root  0 Jun  3 10:26 hugetlb
drwxr-xr-x 5 root root  0 Jun  3 10:26 memory
lrwxrwxrwx 1 root root 16 Jun  3 10:26 net_cls -> net_cls,net_prio
drwxr-xr-x 3 root root  0 Jun  3 10:26 net_cls,net_prio
lrwxrwxrwx 1 root root 16 Jun  3 10:26 net_prio -> net_cls,net_prio
drwxr-xr-x 3 root root  0 Jun  3 10:26 perf_event
drwxr-xr-x 3 root root  0 Jun  3 10:26 pids
drwxr-xr-x 5 root root  0 Jun  3 10:26 systemd

3.建立一个CPU控制群组

（1）首先进入cpu子系统对应的层级路径下：cd /sys/fs/cgroup/cpu
（2）通过新建文件夹创建一个cpu控制族群：mkdir x1，即新建了一个cpu控制族群：x1
（3）新建x1之后，可以看到目录下自动建立了相关的文件（继承了上一及的文件），这些文件是伪文件。

[root@server1 cgroup]# cd cpu
[root@server1 cpu]# ls
cgroup.clone_children  cpuacct.usage         cpu.rt_runtime_us  release_agent
cgroup.event_control   cpuacct.usage_percpu  cpu.shares         system.slice
cgroup.procs           cpu.cfs_period_us     cpu.stat           tasks
cgroup.sane_behavior   cpu.cfs_quota_us      docker             user.slice
cpuacct.stat           cpu.rt_period_us      notify_on_release
[root@server1 cpu]# mkdir x1
[root@server1 cpu]# cd x1/
[root@server1 x1]# ls
cgroup.clone_children  cpuacct.usage         cpu.rt_period_us   notify_on_release
cgroup.event_control   cpuacct.usage_percpu  cpu.rt_runtime_us  tasks
cgroup.procs           cpu.cfs_period_us     cpu.shares
cpuacct.stat           cpu.cfs_quota_us      cpu.stat

4.测试限制CPU的使用

（1）我们的测试示例主要用到cpu.cfs_period_us和cpu.cfs_quota_us两个文件。
（2）cpu.cfs_period_us：cpu分配的周期(微秒），默认为100000。
（3）cpu.cfs_quota_us：表示该control group限制占用的时间（微秒），默认为-1，表示不限制。如果设为20000，表示占用20000/100000=20%的CPU。

[root@server1 x1]# cat cpu.cfs_period_us 
100000
[root@server1 x1]# cat cpu.cfs_quota_us 
-1
[root@server1 x1]# echo 20000 > cpu.cfs_period_us 
[root@server1 x1]# cat cpu.cfs_period_us 
20000
[root@server1 x1]# dd if=/dev/zero of=/dev/null &
[1] 20195

5.top查看cpu占用情况
可以看出几乎占用了100%

6.创建一个容器，并限制cpu的使用

[root@server1 x1]# echo 20195 > tasks 
[root@server1 x1]# fg
dd if=/dev/zero of=/dev/null
^C339592796+0 records in
339592796+0 records out
173871511552 bytes (174 GB) copied, 118.582 s, 1.5 GB/s
[root@server1 x1]# docker rm vm1
[root@server1 x1]#  docker run -it --name vm1 --cpu-quota=20000 ubuntu
root@3115c40c7ede:/# dd if=/dev/zero of=/dev/null &

不做限制时则为100%

[root@server1 x1]# docker rm vm1
vm1
[root@server1 x1]# docker run -it --name vm1  ubuntu
root@159e1b52c802:/# dd if=/dev/zero of=/dev/null &
[1] 15
root@159e1b52c802:/# top

查看相关配置文进阿

[root@server1 x1]# pwd
/sys/fs/cgroup/cpu/x1
[root@server1 x1]# cd ../docker/
[root@server1 docker]# ls
215c0ded74b158aac969af99b1f7e03b39f482a5c67c07cf2a8c32c22c2fbd7e
[root@server1 215c0ded74b158aac969af99b1f7e03b39f482a5c67c07cf2a8c32c22c2fbd7e]# cat cpu.cfs_quota_us 
20000

限制内存的占用
1.虚拟机安装docker并开启，下载软件

[root@docker1 ~]# systemctl start docker
[root@docker1 ~]# yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm
[root@docker1 ~]# cd /var/lib/lxcfs/
[root@server1 lxcfs]# ls
[root@server1 lxcfs]# cd 
[root@server1 ~]# lxcfs /var/lib/lxcfs/ &
[1] 20935
[root@server1 ~]# hierarchies:
  0: fd:   5: freezer
  1: fd:   6: net_prio,net_cls
  2: fd:   7: cpuset
  3: fd:   8: devices
  4: fd:   9: memory
  5: fd:  10: hugetlb
  6: fd:  11: blkio
  7: fd:  12: perf_event
  8: fd:  13: pids
  9: fd:  14: cpuacct,cpu
 10: fd:  15: name=systemd

2.测试
查看初始状态

[root@server1 ~]# cd /var/lib/lxcfs/
[root@server1 lxcfs]# ls
cgroup  proc
[root@server1 lxcfs]# cd proc/
[root@server1 proc]# ls
cpuinfo  diskstats  meminfo  stat  swaps  uptime

##不受限制的时候和虚拟机的内存是一样的
[root@server1 proc]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1839         162         132           8        1545        1460
Swap:          2047           0        2047
[root@server1 proc]# docker run -it --name vm2 ubuntu
root@268fa6d715d8:/# free -m
             total       used       free     shared    buffers     cached
Mem:          1839       1719        119          8          0       1402
-/+ buffers/cache:        316       1522
Swap:         2047          0       2047

设置内存占用为200m

[root@docker1 proc]# docker run -it --name vm1 -m 200m -v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo \
> -v /var/lib/lxcfs/proc/diskstats:/proc/diskstats \
> -v /var/lib/lxcfs/proc/meminfo:/proc/meminfo \
> -v /var/lib/lxcfs/proc/stat:/proc/stat \
> -v /var/lib/lxcfs/proc/swaps:/proc/swaps \
> -v /var/lib/lxcfs/proc/uptime:/proc/uptime \
> ubuntu
root@322f87592f39:/# free -m