Docker：（八）私有仓库部署、cgroup资源限制
目录
一：docker搭建本地私有仓库
1.1下载 registry 镜像
1.2在 daemon.json 文件中添加私有镜像仓库的地址并重启
1.3创建registry容器并开放端口
1.4给镜像打标签后上传到私有仓库
1.5获取私有仓库列表查看是否上传成功
1.6验证：从私有仓库下载镜像
小结
怎么获取registry的镜像仓库中的镜像信息
二：cgroup控制资源
2.1cgroup资源配置方法
2.2对CPU使用率的控制
2.2.1使用stress工具测试CPU 和内存使用情况
2.2.2设置CPU资源占用比（设置多个容器时才有效）
2.2.3限制 CPU 使用周期速率
2.2.4限制 CPU 内核使用
2.2.5CPU配额控制参数的混合使用
2.2.6对内存限额
2.3Block lO的限制
2.4bps和iops的限制
三：构建镜像时指定资源限制
四：总结
4.1Cgroups如何工作的？
4.2cgroup对cpu限制小结
4.3cgroup对内存的限制小结
4.4资源限制的主要类型
4.5资源限制的几种方式
4.6资源限制的状态查询
一：docker搭建本地私有仓库
1.1下载 registry 镜像
docker pull registry
1.2在 daemon.json 文件中添加私有镜像仓库的地址并重启
vim /etc/docker/daemon.json
{
"insecure-registries": ["192.168.137.20:5000"], #添加此段，“，”不可少，ip是本机IP地址
"registry-mirrors": ["https://4abdkxlk.mirror.aliyuncs.com"]
}
systemctl daemon-reload
systemctl restart docker.service
1.3创建registry容器并开放端口
docker create -it registry:latest /bin/bash
docker run -d -p 5000:5000 -v /data/registry:/tmp/registry registry
'//-p指定端口，一内一外；-v表示挂载，前者是宿主机，后者是容器'
1.4给镜像打标签后上传到私有仓库
必须先给镜像打标签再上传，不然默认是去公共仓库
#打标签
docker tag nginx:latest 192.168.137.20:5000/nginx
#上传
docker push 192.168.137.20:5000/nginx
1.5获取私有仓库列表查看是否上传成功
curl -XGET http://192.168.137.20:5000/v2/_catalog
'//若成功会返回以下值'
{"repositories":["nginx"]}
1.6验证：从私有仓库下载镜像
先删除原有的 centos 镜像，在从本地仓库下载进行测试
#删除原有镜像
docker rmi 192.168.137.20:5000/nginx:latest
#查看镜像
docker images
#从本地仓库下载镜像
docker pull 192.168.137.20:5000/nginx
#查看镜像
docker images
小结
怎么获取registry的镜像仓库中的镜像信息
curl -XGET http://192.168.59.111:5000/v2/_catalog
二：cgroup控制资源
2.1cgroup资源配置方法
docker 使用cgrqup控制资源，K8S 里面也有limit（使用上限）
docker通过cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
Cgroup 是 Control group 的简写，是 Linux 内核提供的一种限制所使用物理资源的机制，包括 CPU、内存 和 IO 这三大方面，基本覆盖了常见的资源配额和使用量控制
cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段
blkio：设置限制每个块设备的输入输出控制。例如:磁盘，光盘以及usb等等。
CPU：使用调度程序为cgroup任务提供CPU的访问。
cpuacct：产生cgroup任务的CPU资源报告。
cpuset：如果是多核心的CPU，这个子系统会为cgroup任务分配单独的CPU的内存。
devices：允许或拒绝cgroup任务对设备的访问。
freezer：暂停和恢复cgroup任务。
memory：设置每个cgroup的内存限制以及产生内存资源报告。
net_cls：标记每个网络包以供cgroup方便使用。
ns：命名空间子系统。
perf_event：增加了对每个group的监测跟踪的能力，可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。
2.2对CPU使用率的控制
2.2.1使用stress工具测试CPU 和内存使用情况
mkdir /opt/stress
vim /opt/stress/Dockerfile
——————————————————————————————————————————————————————————————————————————————
FROM centos:7
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo #epel源，可以使用扩展软件包（stress）
RUN yum -y install stress #可以指定产生线程，使用循环语句，测试用'
——————————————————————————————————————————————————————————————————————————————
cd /opt/stress/
systemctl restart docker.service #建议重启docker，不然下面的操作可能会失败，卡在wget
docker build -t centos:stress . #生成镜像
...
...
Successfully built 7e69cc4d1b07
Successfully tagged centos:stress
docker images
#以下可以使用该镜像为基础产生的容器进行测试：
2.2.2设置CPU资源占用比（设置多个容器时才有效）
Docker通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数。
资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它。
说明:默认情况下，每个Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。如果容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的CPU份额只有50，它也可以独占整个主机的CPU资源。
Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
可以通过cpu share可以设置容器使用CPU的优先级，比如启动了两个容器及运行查看CPU使用百分比。
示例：创建两个容器为cpu512和cpu1024， 若只有这两个容器，设置容器的权重，使得cpu512和cpu1024的CPU资源占比为1/3和2/3。
docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #-c 10表示产生10个子线程，测试用
docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
#查看容器的资源使用状态（动态更新）
docker stats
资源是用cadvisor收集的
2.2.3限制 CPU 使用周期速率
Docker 提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
–cpu-period（周期）是用来指定容器对CPU的使用要在多长时间内做一次重新分配。默认将cpu所有容器在一个周期里面全都设置。
–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器默认是10万。与–cpu-shares不同的是,这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。
–cpu-quota 的值默认为-1，表示不做控制。–cpu-period 和 --cpu-quota参数一般联合使用。
cat /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us
#-1，表示不做控制
#例如:容器进程需要每Ⅰ秒使用单个cPU的 0.2秒时间，可以将 --cpu-period 设置为1000000(即1秒)，cpu-quota 设置为200000 0.2秒)。
#当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period 设置为 100000(即 0.1秒)，cpu-quota 设置为200000 （0.2秒)。
docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 centos:stress
#也可以直接去修改文件vim /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us
#法一：进入指定容器查看
docker exec -it test01 bash
cd /sys/fs/cgroup/cpu
cat cpu.cfs_period_us
cat cpu.cfs_quota_us
#法二：docker inspect 容器ID
docker inspect ffcb2f0b7593
2.2.4限制 CPU 内核使用
- 可以通过配置，使得某些程序独享 CPU 内核，以提高其处理速度
- 对多核CPU的服务器，Docker还可以控制容器**运行使用哪些CPU内核**，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。
docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
#执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的 cgroup的 CPU内核配置如下
cat /sys/fs/cgroup/cpuset/docker/[容器ID]/cpuset.cpus
docker exec -it cpu1 /bin/bash -c "stress -c 10"
2.2.5CPU配额控制参数的混合使用
（1）通过cpuset-cpus参数指定容器A使用CPU内核0，容器B只是用CPU内核1。
（2）在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。
（3）cpuset-cpus、cpuset-mems参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。
（4）在系统具有多个CPU内核的情况下，需要通过cpuset-cpus 参数为设置容器CPU内核才能方便地进行测试。
#测试前需要将宿主系统修改为4核心CPU，创建两个容器,分别指定不同的cpu
docker run -tid --name cpu2 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
docker run -tid --name cpu3 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
#记住按1查看每个核心的占用
top总结:上面的centos:stress镜像安装了stress 工具，用来测试CPU和内存的负载。通过在两个容器上分别执行stress -c1 命令，将会给系统一个随机负载，产生1个进程。这个进程都反复不停的计算由 rand() 产生随机数的平方根，直到资源耗尽。
观察到宿主机上的CPU使用率，第三个内核的使用率接近100%，并且一批进程的CPU使用率明显存
在2:1的使用比例的对比。
2.2.6对内存限额
（1）与操作系统类似，容器可使用的内存包括两部分：物理内存和Swap。Docker 通过下面两组参数来控制容器内存的使用量。
-m 或--memory:设置内存的使用限额，例如100M、1024M。
--memory-swap:设置内存+swap的使用限额。（2）执行如下命令允许该容器最多使用200M的内存和300M的swap。
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
--vm 1:启动1个内存工作线程。
--vm-bytes 280M:每个线程分配280M内存。（3）默认情况下，容器可以使用主机上的所有空闲内存。与CPU的cgroups配置类似，Docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长ID>中创建相应cgroup配置文件。如果让工作线程分配的内存超过300M，分配的内存超过限额，stress线程报错，容器退出。
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
2.3Block lO的限制
- 默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器 block IO的优先级。
- –blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。
在下面的例子中，容器A读写磁盘的带宽是容器B的两倍
#容器A
docker run -it --name container_A --blkio-weight 600 centos:stress
cat /sys/fs/cgroup/blkio/blkio.weight
#容器B
docker run -it --name container_B --blkio-weight 300 centos:stress
cat /sys/fs/cgroup/blkio/blkio.weight
2.4bps和iops的限制
bps是byte per second，每秒读写的数据量(吞吐量)。iops 是io per second，每秒IO的次数。
可通过以下参数控制容器的bps和iops：
--device-read-bps，限制读某个设备的bps。
--device-write-bps，限制写某个设备的bps。
--device-read-iops，限制读某个设备的iops。
--device-write-iops，限制写某个设备的iops。#下面的示例是限制容器写/dev/sda 的速率为5MB/s
docker run -it --device-write-bps /dev/sda:5MB centos:stress
dd if=/dev/zero of=test bs=1M count=100 oflag=direct
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 20.0018 s, 5.2 MB/s
#通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的。
#在容器中写文件相当子对host /dev/sda进行写操作。另外，oflag=direct指定用direct IO 方式写文件，这样--device-write-bps才能生效。
#结果表明限速 5MB/s左右。作为对比测试，如果不限速，结果如下。
docker run -it centos:stress
dd if=/dev/zero of=test bs=1M count=100 oflag=direct
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0470107 s, 2.2 GB/s
三：构建镜像时指定资源限制
--build-arg=[] : 设置镜像创建时的变量;
--cpu-shares : 设置cpu使用权重;
--cpu-period : 限制CPU CFS周期;
--cpu-quota : 限制CPU CFS配额;
--cpuset-cpus : 指定使用的CPU id;
--cpuset-mems : 指定使用的内存id;
--disable-content-trust : 忽略校验，默认开启;
-f : 指定要使用的Dockerfile路径;
--force-rm : 设置镜像过程中删除中间容器;
--isolation : 使用容器隔离技术;
--label=[] : 设置镜像使用的元数据;
-m : 设置内存最大值;
--memory-swap : 设置Swap的最大值为内存swap， "-1"表示不限swap;
--no-cache : 创建镜像的过程不使用缓存;
--pull : 尝试去更新镜像的新版本;
--quiet, -q : 安静模式，成功后只输出镜像ID;
--rm : 设置镜像成功后删除中间容器;
--shm-size : 设置/dev/shm的大小，默认值是64M;
--ulimit : Ulimit配置;
--squash : 将Dockerfile 中所有的操作压缩为一层;
--tag, -t: 镜像的名字及标签，通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签。
--network : 默认default；在构建期间设置RUN指令的网络模式四：总结
4.1Cgroups如何工作的？
CPU —>VCPU–>以进程的方式体现在workstation环境(docker环境中) —》docker表现形式是容器，–>Vcpu以进程的方式控制容器–》容器中的应用需要的是服务进程支持–》宿主机内核中cpu可以被cgroup管理（通过分配资源手段）–》linux内核中的cgroup可以直接控制VCPU的资源分配，而VCPU在workstation中是以进程的方式管理docker容器的，所以，也可以认为Cgroups在直接/间接管理docker容器中的应用
4.2cgroup对cpu限制小结
Cgroups 控制的是内核资源—》间接控制vw中vcpu的资源—》控制着vwM中进程资源—》docker容器的资源—》docker容器内应用的资源
控制的主体包括:CPU、内存、I/O
主要介绍的是CPU资源的控制而CPU资源控制的方式主要有:
①cpu-shares权重指的是多个容器使用同一个CPU的情况下，被分配到CPU资源的机会占比
②cpu-period周期指的是，CPU在给于当前管理、控制的容器分配资源时，CPU的分配周期，默认是1s，此项配置，可以在运行时直接指定
③cpuset-cpus指定容器，仅能使用指定的CPU，按照CPU的下标来表示
4.3cgroup对内存的限制小结
Cgroups 对于内存的限制，主要体现在以下两个部分：
①内存使用上限（硬限制）
②内存+swap使用上限（硬限制)
类比于K8s中的资源限制手段，也是使用的cgroups的技术，体现为limit
respones:
request: #分配的初始资源
cpu：100m
memory：100m
limits：
cpu：300m
memory：200m4.4资源限制的主要类型
- CPU权重shares、 quota、 cpuset
- 磁盘BPS、 TPS限制， 指定使用哪个磁盘、磁盘分区
- 内存 -m - swap 内存、交换分区
大部分做的是上限的限制
4.5资源限制的几种方式
build构建镜像时，可以指定该镜像的资源限制
run将镜像跑为容器的时候，可以指定容器的资源限制
容器启动之后可以在宿主机对应容器的目录下，修改资源限制，然后重载
/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以
4.6资源限制的状态查询
-
docker inspect 镜像ID/容器ID
-
直接查看宿主机对应容器ID资源限制的文件
cgroup资源docker 原理之一， namespaces 6个名称空间
可以指定该镜像的资源限制
- run将镜像跑为容器的时候，可以指定容器的资源限制
- 容器启动之后可以在宿主机对应容器的目录下，修改资源限制，然后重载
- /sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以