【kubernetes系列】Kubernetes之资源限制ResourceQuota
概述
当多个用户或团队共享具有固定节点数目的集群时，人们会担心有人使用超过其基于公平原则所分配到的资源量。我们可以通过ResourceQuota来解决这个问题，对每个namespace的资源消耗总量提供限制。它可以限制命名空间中某种类型的对象的总数目上限，也可以限制命名空间中的 Pod 可以使用的计算资源的总上限。
资源配额的工作方式如下：
- 不同的团队在不同的namespace下工作，这可以通过 RBAC 强制执行。
- 管理员为每个namespace创建一个或多个ResourceQuota对象。
- 用户在相应的namespace中创建资源时，quota 配额系统跟踪使用情况，来确保其不超过资源配额中定义的硬性资源限额
- 如果资源的创建或更新违反了配额约束，则请求会失败，并返回 HTTP状态码 403 FORBIDDEN ，以及说明违反配额约束的信息。
- 如果namespace下的计算资源 （如 cpu 和 memory）的配额被启用，则用户必须为这些资源设定请求值（request）和约束值（limit），否则配额系统将拒绝Pod的创建。
- 资源配额的更改不会影响到已经创建的pod。
提示: 可使用 LimitRange 准入控制器来为没有设置计算资源需求的Pod设置默认值。
ResourceQuota官方文档地址https://kubernetes.io/zh-cn/docs/concepts/policy/resource-quotas/
启用资源配额
资源配额的支持在很多Kubernetes版本中是默认开启的。当 apiserver 的 --admission-control= 参数中包含 ResourceQuota 时，资源配额会被启用。当namespace中存在一个 ResourceQuota 对象时，该namespace即开始实施资源配额管理。
配额分类
计算资源配额
用户可以对指定namespace下的计算资源可使用总量进行限制。目前配额机制所支持的资源类型如下：
| 资源名称 | 描述 |
|---|---|
| cpu | 所有非终止状态的Pod中，其CPU需求（request）总量上限 |
| limits.cpu | 所有非终止状态的Pod中，其CPU限额（limit）总量上限 |
| limits.memory | 所有非终止状态的Pod中，其内存限额总量上限 |
| memory | 所有非终止状态的Pod中，其内存需求总量上限 |
| requests.cpu | 所有非终止状态的Pod中，其CPU需求总量上限 |
| requests.memory | 所有非终止状态的Pod中，其内存需求总量上限 |
| requests.nvidia.com/gpu | 所有非终止状态的Pod中，其GPU资源总数使请求上限 |
存储资源配额
用户可以对指定namespace下的存储资源总量进行限制。此外，还可以根据相关的存储类（Storage Class）来限制存储资源的消耗。
| 资源名称 | 描述 |
|---|---|
| requests.storage | 所有的PVC中，存储资源的需求声明总上限 |
| persistentvolumeclaims | namespace中所允许的 PVC个数上限 |
| 所有该storage-class-name相关的PVC中， 存储资源的需求声明总上限 | |
| namespace中所允许的 PVC个数上限 |
对象数量配额
| 资源名称 | 描述 |
|---|---|
| configmaps | 在该命名空间中允许存在的 ConfigMap 总数上限 |
| persistentvolumeclaims | 在该命名空间中允许存在的 PVC 的总数上限 |
| pods | 在该命名空间中允许存在的非终止状态的 Pod 总数上限。Pod 终止状态等价于 Pod 的 .status.phase in (Failed, Succeeded) 为真 |
| replicationcontrollers | 在该命名空间中允许存在的 ReplicationController 总数上限 |
| resourcequotas | 在该命名空间中允许存在的 ResourceQuota 总数上限 |
| services | 在该命名空间中允许存在的 Service 总数上限 |
| services.loadbalancers | 在该命名空间中允许存在的 LoadBalancer 类型的 Service 总数上限 |
| services.nodeports | 在该命名空间中允许存在的 NodePort 类型的 Service 总数上限 |
| secrets | 在该命名空间中允许存在的 Secret 总数上限 |
配额作用域
每个配额都有一组相关的作用域（scope），配额只会对作用域内的资源生效。当一个作用域被添加到配额中后，它会对作用域相关的资源数量作限制。如配额中指定了允许（作用域）集合之外的资源，会导致验证错误。
| 范围 | 描述 |
|---|---|
| Terminating | 匹配 spec.activeDeadlineSeconds >= 0 的pod。 |
| NotTerminating | 匹配 spec.activeDeadlineSeconds is nil 的pod。 |
| BestEffort | 匹配"尽力而为（best effort)"服务类型的pod。 |
| NotBestEffort | 匹配非"尽力而为（best effort)"服务类型的pod。 |
| PriorityClass | 匹配所有引用了所指定的优先级类的 Pods。 |
| CrossNamespacePodAffinity | 匹配那些设置了跨名字空间 （反）亲和性条件的 Pod。 |
BestEffort 作用域限制配额跟踪以下资源： pods
而Terminating、 NotTerminating 和 NotBestEffort 限制配额跟踪以下资源：
- cpu
- limits.cpu
- limits.memory
- memory
- pods
- requests.cpu
- requests.memory
需要注意的是，不可以在同一个配额对象中同时设置 Terminating 和 NotTerminating 作用域，也不可以在同一个配额中同时设置 BestEffort 和 NotBestEffort 作用域。
scopeSelector 支持在 operator 字段中使用以下值：
- In
- NotIn
- Exists
- DoesNotExist
定义 scopeSelector 时，如果使用以下值之一作为 scopeName 的值，则对应的 operator 只能是 Exists。 - Terminating
- NotTerminating
- BestEffort
- NotBestEffort
如果 operator 是 In 或 NotIn 之一，则 values 字段必须至少包含一个值。 例如：
scopeSelector:
matchExpressions:
- scopeName: PriorityClass
operator: In
values:
- middle
而如果 operator 为 Exists 或 DoesNotExist，则不可以设置 values 字段。
示例
[root@k8s-m1 k8s-resource]# cat resource-list.yaml
apiVersion: v1
kind: List
items:
- apiVersion: v1
kind: ResourceQuota
metadata:
name: pods-high
spec:
hard:
cpu: "100"
memory: 50Gi
pods: "10"
scopeSelector:
matchExpressions:
- operator: In
scopeName: PriorityClass
values: ["high"]
- apiVersion: v1
kind: ResourceQuota
metadata:
name: pods-medium
spec:
hard:
cpu: "60"
memory: 30Gi
pods: "10"
scopeSelector:
matchExpressions:
- operator: In
scopeName: PriorityClass
values: ["medium"]
- apiVersion: v1
kind: ResourceQuota
metadata:
name: pods-low
spec:
hard:
cpu: "40"
memory: 10Gi
pods: "10"
scopeSelector:
matchExpressions:
- operator: In
scopeName: PriorityClass
values: ["low"]
[root@k8s-m1 k8s-resource]# kubectl apply -f resource-list.yaml
resourcequota/pods-high created
resourcequota/pods-medium created
resourcequota/pods-low created
[root@k8s-m1 k8s-resource]# kubectl get resourcequotas
NAME AGE REQUEST LIMIT
pods-high 5s cpu: 0/100, memory: 0/50Gi, pods: 0/10
pods-low 5s cpu: 0/40, memory: 0/10Gi, pods: 0/10
pods-medium 5s cpu: 0/60, memory: 0/30Gi, pods: 0/10
[root@k8s-m1 k8s-resource]# kubectl describe quota
Name: pods-high
Namespace: default
Resource Used Hard
-------- ---- ----
cpu 0 100
memory 0 50Gi
pods 0 10
Name: pods-low
Namespace: default
Resource Used Hard
-------- ---- ----
cpu 0 40
memory 0 10Gi
pods 0 10
Name: pods-medium
Namespace: default
Resource Used Hard
-------- ---- ----
cpu 0 60
memory 0 30Gi
pods 0 10
#priorityclass也需要自己手动创建，系统默认自带了两个
[root@k8s-m1 k8s-resource]# cat priorityclass.yaml
apiVersion: scheduling.k8s.io/v1beta1
kind: PriorityClass
metadata:
name: high
value: 10000
globalDefault: true
description: "high priority"
[root@k8s-m1 k8s-resource]# kubectl apply -f priorityclass.yaml
Warning: scheduling.k8s.io/v1beta1 PriorityClass is deprecated in v1.14+, unavailable in v1.22+; use scheduling.k8s.io/v1 PriorityClass
priorityclass.scheduling.k8s.io/high created
[root@k8s-m1 k8s-resource]# kubectl get priorityclasses.scheduling.k8s.io
NAME VALUE GLOBAL-DEFAULT AGE
high 10000 true 14s
system-cluster-critical 2000000000 false 431d
system-node-critical 2000001000 false 431d
[root@k8s-m1 k8s-resource]# cat higi-priority-pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: high-priority-pod
spec:
containers:
- name: high-priority
image: centos:7
command: ["/bin/sh"]
args: ["-c", "while true; do echo hello; sleep 10;done"]
resources:
requests:
memory: "2Gi"
cpu: "500m"
limits:
memory: "4Gi"
cpu: "500m"
priorityClassName: high
[root@k8s-m1 k8s-resource]# kubectl apply -f higi-priority-pod.yaml
pod/high-priority created
[root@k8s-m1 k8s-resource]# kubectl describe resourcequotas pods-high
Name: pods-high
Namespace: default
Resource Used Hard
-------- ---- ----
cpu 500m 100
memory 2Gi 50Gi
pods 1 10
请求／约束
分配计算资源时，可以为每个容器指定CPU或内存请求和约束，也可以设置两者中的任何一个。
如果配额中指定了 requests.cpu 或 requests.memory 的值，那么它要求每个进来的容器针对这些资源有明确的请求。 如果配额中指定了 limits.cpu 或 limits.memory的值，那么它要求每个进来的容器针对这些资源指定明确的约束。
示例
[root@k8s-m1 k8s-resource]# kubectl create namespace myspace
[root@k8s-m1 k8s-resource]# cat compute-resources.yaml
apiVersion: v1
kind: ResourceQuota
metadata:
name: compute-resources
namespace: myspace
spec:
hard:
requests.cpu: "1"
requests.memory: 1Gi
limits.cpu: "2"
limits.memory: 2Gi
requests.nvidia.com/gpu: 4
[root@k8s-m1 k8s-resource]# cat object-counts.yaml
apiVersion: v1
kind: ResourceQuota
metadata:
name: object-counts
namespace: myspace
spec:
hard:
configmaps: "10"
persistentvolumeclaims: "4"
pods: "4"
replicationcontrollers: "20"
secrets: "10"
services: "10"
services.loadbalancers: "2"
[root@k8s-m1 k8s-resource]# kubectl create -f compute-resources.yaml
resourcequota/compute-resources created
[root@k8s-m1 k8s-resource]# kubectl create -f object-counts.yaml
resourcequota/object-counts created
[root@k8s-m1 k8s-resource]# kubectl get quota --namespace=myspace
NAME AGE REQUEST LIMIT
compute-resources 15s requests.cpu: 0/1, requests.memory: 0/1Gi, requests.nvidia.com/gpu: 0/4 limits.cpu: 0/2, limits.memory: 0/2Gi
object-counts 3s configmaps: 0/10, persistentvolumeclaims: 0/4, pods: 0/4, replicationcontrollers: 0/20, secrets: 1/10, services: 0/10, services.loadbalancers: 0/2
创建nginx测试，如果pod所需资源超过resourcequota设置的pod将不能正常创建出来
[root@k8s-m1 k8s-resource]# kubectl apply -f nginx-resourcequota-deployment.yml
deployment.apps/my-nginx created
[root@k8s-m1 k8s-resource]# cat nginx-resourcequota-deployment.yml
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-nginx
namespace: myspace
labels:
app: nginx
spec:
selector:
matchLabels:
tier: frontend
replicas: 2
template:
metadata:
labels:
tier: frontend
spec:
containers:
- name: nginx-gateway
image: nginx
resources:
requests:
cpu: 1
memory: 1Gi
limits:
cpu: 1
memory: 1Gi
ports:
- containerPort: 80
[root@k8s-m1 k8s-resource]# kubectl apply -f nginx-resourcequota-deployment.yml
deployment.apps/my-nginx created
[root@k8s-m1 k8s-resource]# kubectl get pod -n myspace
NAME READY STATUS RESTARTS AGE
my-nginx-5c45dd8bc5-7zhw5 1/1 Running 0 83s
#只创建出来一个pod，而预期是2个
[root@k8s-m1 k8s-resource]# kubectl describe replicasets.apps -n myspace my-nginx-5c45dd8bc5
Name: my-nginx-5c45dd8bc5
Namespace: myspace
Selector: pod-template-hash=5c45dd8bc5,tier=frontend
Labels: pod-template-hash=5c45dd8bc5
tier=frontend
Annotations: deployment.kubernetes.io/desired-replicas: 2
deployment.kubernetes.io/max-replicas: 3
deployment.kubernetes.io/revision: 1
Controlled By: Deployment/my-nginx
Replicas: 1 current / 2 desired
Pods Status: 1 Running / 0 Waiting / 0 Succeeded / 0 Failed
Pod Template:
Labels: pod-template-hash=5c45dd8bc5
tier=frontend
Containers:
nginx-gateway:
Image: nginx
Port: 80/TCP
Host Port: 0/TCP
Limits:
cpu: 1
memory: 1Gi
Requests:
cpu: 1
memory: 1Gi
Environment: <none>
Mounts: <none>
Volumes: <none>
Conditions:
Type Status Reason
---- ------ ------
ReplicaFailure True FailedCreate
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulCreate 98s replicaset-controller Created pod: my-nginx-5c45dd8bc5-7zhw5
Warning FailedCreate 98s replicaset-controller Error creating: pods "my-nginx-5c45dd8bc5-5hjqq" is forbidden: exceeded quota: compute-resources, requested: requests.cpu=1,requests.memory=1Gi, used: requests.cpu=1,requests.memory=1Gi, limited: requests.cpu=1,requests.memory=1Gi
可以看到，由于所需资源已经超出当前命名空间设置的resourcequota，pod将不能正常创建。
更多关于kubernetes的知识分享，请前往博客主页。编写过程中，难免出现差错，敬请指出