Blog:博客园 个人
承接上文。
在实际的生产使用场景中,直接用 Pod 是不合适的,因为必然会产生单点故障。因此,我们需要有一种方法来方便地创建、管理同一个服务的多个实例 Pod。Kubernetes 中引入了 Workload(工作负载) 的概念,它可以理解为 Pod 的父资源,主要的作用就是来管理多个 Pod 的生命周期。
Workload资源主要分为以下几类:
- Deployment 和 ReplicaSet :最常见的类型,用来管理集群上的无状态应用。
- DaemonSet:在集群的每个节点上部署一个 Pod,适用于各种 agent 业务的场景。 such as a networking helper tool, or be part of an add-on.
- StatefulSet:适用于各种有状态服务的场景。 例如,如果负载会将数据作持久存储,可以运行一个
StatefulSet
,将每个Pod
与某个PersistentVolume
对应起来。 - Job 和 CronJob: 用于一些自动化任务。
Job
用来表达的是一次性的任务,而CronJob
会根据其时间规划反复运行。
接下来将详细介绍几种Workload资源的使用方法。
Deployment 和 ReplicaSet
通常,我们不直接创建Pod,而是通过Deployment来创建Pod,由 Deployment 来负责创建、更新、维护其所管理的所有 Pods。而ReplicaSet则负责控制replicas(副本)的数量。
接下来,使用以下deployment作为例子来剖析两者的关系:
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: nginx
name: nginx
spec:
replicas: 2
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- image: nginx:latest
name: nginx
topologySpreadConstraints:
- topologyKey: address
maxSkew: 1
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: nginx
创建这个deployment:
[root@master-1 test]# kubectl create -f nginx.yml
deployment.apps/nginx created
[root@master-1 test]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-58c948c775-5hbhf 1/1 Running 0 20s 10.16.84.138 node-1
nginx-58c948c775-vfdp8 1/1 Running 0 20s 10.16.247.19 node-2
通过kubectl describe deploy nginx
可知,有ScalingReplicaSet
信息:
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal ScalingReplicaSet 79s deployment-controller Scaled up replica set nginx-58c948c775 to 2
可以清晰的看到2个pod实例是通过replicaset
生成的:
[root@master-1 test]# kubectl get rs nginx-58c948c775
NAME DESIRED CURRENT READY AGE
nginx-58c948c775 2 2 2 4m22s
[root@master-1 test]# kubectl describe rs nginx-58c948c775
Name: nginx-58c948c775
Namespace: default
Selector: app=nginx,pod-template-hash=58c948c775
Labels: app=nginx
pod-template-hash=58c948c775
Annotations: deployment.kubernetes.io/desired-replicas: 2
deployment.kubernetes.io/max-replicas: 3
deployment.kubernetes.io/revision: 1
Controlled By: Deployment/nginx
Replicas: 2 current / 2 desired
Pods Status: 2 Running / 0 Waiting / 0 Succeeded / 0 Failed
Pod Template:
Labels: app=nginx
pod-template-hash=58c948c775
Containers:
nginx:
Image: nginx:latest
Port:
Host Port:
Environment:
Mounts:
Volumes:
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulCreate 4m31s replicaset-controller Created pod: nginx-58c948c775-5hbhf
Normal SuccessfulCreate 4m31s replicaset-controller Created pod: nginx-58c948c775-vfdp8
说明:
NAME
:列出名字空间中 ReplicaSet 的名称;DESIRED
:显示应用的期望副本个数,即在创建 Deployment 时所定义的值。 此为期望状态;CURRENT
:显示当前运行状态中的副本个数;READY
:显示应用中有多少副本可以为用户提供服务;AGE
:显示应用已经运行的时间长度。
总结
- 通过
kubectl create
创建一个deployment,那么此时就会调用deployment-controller创建一个replicaset; - replicaset则会调用replicaset-controller创建相应的pod;
- 最后由default-scheduler将pod分配到对应的node节点。
注意:尽管 ReplicaSet 可以独立使用,目前它们的主要用途是提供给 Deployment 作为 编排 Pod 创建、删除和更新的一种机制。
DaemonSet
DaemonSet确保全部(或者某些)节点上运行一个 Pod 的副本。 当有节点加入集群时, 也会为他们新增一个 Pod 。 当有节点从集群移除时,这些 Pod 也会被回收。删除 DaemonSet 将会删除它创建的所有 Pod。
DaemonSet 的一些典型用法:
- 在每个节点上运行集群守护进程,例如ceph。
- 在每个节点上运行日志收集守护进程,例如filebeat、logstash。
- 在每个节点上运行监控守护进程,例如Promethues Node Exporter。
例如:
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: nginx-ds
namespace: default
spec:
selector:
matchLabels:
app: nginx-ds
release: stable
template:
metadata:
labels:
app: nginx-ds
release: stable
spec:
containers:
- name: nginx-ds
image: nginx:latest
imagePullPolicy: IfNotPresent
ports:
- name: http
containerPort: 80
创建DaemonSet:
[root@master-1 test]# kubectl create -f nginx-ds.yml
daemonset.apps/nginx-ds created
[root@master-1 test]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-ds-fhz7n 1/1 Running 0 97s 10.16.84.139 node-1
nginx-ds-jvc9p 1/1 Running 0 97s 10.16.247.20 node-2
注意:
apiVersion
、kind
和metadata
也是DaemonSet必需字段。
调度指定节点:
-
nodeSelector:只调度到匹配指定 label 的 Node 上
-
nodeAffinity:功能更丰富的 Node 选择器,比如支持集合操作
-
podAffinity:调度到满足条件的 Pod 所在的 Node 上
StatefulSet
StatefulSet是Kubernetes中有状态应用管理的标准实现,本质上是Deployment的一种变体。
在日常开发的应用中,通常可以分为两类:有状态与无状态,比如web服务通常都是无状态的,web应用数据主要来自后端存储、缓存等中间件,而本身并不保存数据;而MySQL、Redis等中间件是有状态的,其数据也是应用自身的一部分,由此可以看出有状态应用本身会包含两部分:应用与数据。
Jobs
Job 会创建一个或者多个 Pods,并将继续重试 Pods 的执行,直到指定数量的 Pods 成功终止。 随着 Pods 成功结束,Job 跟踪记录成功完成的 Pods 个数。 当数量达到指定的成功个数阈值时,任务(即 Job)结束。 删除 Job 的操作会清除所创建的全部 Pods。 挂起 Job 的操作会删除 Job 的所有活跃 Pod,直到 Job 被再次恢复执行。
示例:
kubectl apply -f https://kubernetes.io/examples/controllers/job.yaml
查看Pods:
[root@master-1 test]# kubectl get pods
NAME READY STATUS RESTARTS AGE
pi-bkpn8 1/1 Running 0 36s
查看输出:
[root@master-1 test]# kubectl logs pi-bkpn8
3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491298336733624406566430860213949463952247371907021798609437027705392171762931767523846748184676694051320005681271452635608277857713427577896091736371787214684409012249534301465495853710507922796892589235420199561121290219608640344181598136297747713099605187072113499999983729780499510597317328160963185950244594553469083026425223082533446850352619311881710100031378387528865875332083814206171776691473035982534904287554687311595628638823537875937519577818577805321712268066130019278766111959092164201989380952572010654858632788659361533818279682303019520353018529689957736225994138912497217752834791315155748572424541506959508295331168617278558890750983817546374649393192550604009277016711390098488240128583616035637076601047101819429555961989467678374494482553797747268471040475346462080466842590694912933136770289891521047521620569660240580381501935112533824300355876402474964732639141992726042699227967823547816360093417216412199245863150302861829745557067498385054945885869269956909272107975093029553211653449872027559602364806654991198818347977535663698074265425278625518184175746728909777727938000816470600161452491921732172147723501414419735685481613611573525521334757418494684385233239073941433345477624168625189835694855620992192221842725502542568876717904946016534668049886272327917860857843838279679766814541009538837863609506800642251252051173929848960841284886269456042419652850222106611863067442786220391949450471237137869609563643719172874677646575739624138908658326459958133904780275901
Tips:Job 完成时不会再创建新的 Pod,不过已有的 Pod 通常也不会被删除。 保留这些 Pod 使得你可以查看已完成的 Pod 的日志输出,以便检查错误、警告 或者其它诊断性输出。 Job 完成时 Job 对象也一样被保留下来,这样你就可以查看它的状态。 在查看了 Job 状态之后删除老的 Job 的操作留给了用户自己。
删除Job:
[root@master-1 test]# kubectl delete jobs/pi
job.batch "pi" deleted
也可通过CronJob来清理。
CronJob
FEATURE STATE: Kubernetes v1.21 [stable]
CronJob 创建基于时隔重复调度的 Jobs。它用 Cron 格式进行编写, 并周期性地在给定的调度时间执行 Job。
示例:
apiVersion: batch/v1
kind: CronJob
metadata:
name: hello
spec:
schedule: "*/1 * * * *"
jobTemplate:
spec:
template:
spec:
containers:
- name: hello
image: busybox
imagePullPolicy: IfNotPresent
command:
- /bin/sh
- -c
- date; echo Hello from the Kubernetes cluster
restartPolicy: OnFailure