K8S体系监控-kube-state-metrics集群资源监控

kube-state-metrics 指标数据

1、kube-state-metrics说明

kube-state-metrics关注于获取k8s各种资源的最新状态,如deployment或者daemonset,之所以没有把kube-state-metrics纳入到metric-server的能力中,是因为他们的关注点本质上是不一样的。metric-server仅仅是获取、格式化现有数据,写入特定的存储,实质上是一个监控系统。而kube-state-metrics是将k8s的运行状况在内存中做了个快照,并且获取新的指标,但他没有能力导出这些指标。

2、Node节点数量监控

PromQL语句:

kube_node_info{instance="10.42.4.65:8080"}

说明:可以查询到K8S集群对应多少Node节点,可以和实际的节点数比较告警,也可以制作大屏

3、集群节点状态错误

PromQL语句:

kube_node_status_condition{condition="Ready",status!="true"}==1

说明:监控集群节点状态是否错误,如何值是1就是有错误可以告警

4、集群节状态是否准备好

PromQL语句:

kube_node_status_condition{condition="Ready",status="true"} == 0

说明:监控集群节点状态是否准备好,有点像kubectl get node获取的状态

4.1、集群节点内存或磁盘资源是否短缺

PromQL语句:

kube_node_status_condition{condition=~"OutOfDisk|MemoryPressure|DiskPressure",status!="false"}==1
5、集群中存在失败的PVC监控

PromQL语句:

kube_persistentvolumeclaim_status_phase{phase="Failed"}==1
6、集群中存在启动失败的Pod监控

PromQL语句:

kube_pod_status_phase{phase=~"Failed|Unknown"}==1
7、最近30分钟内有Pod容器重启监控

PromQL语句:

changes(kube_pod_container_status_restarts_total[30m])
8、节点CPU请求总核数(单位cores)

PromQL语句:

sum(kube_pod_container_resource_requests_cpu_cores{})

说明:监控容器请求的CPU内核数

9、节点CPU限制总核数

PromQL语句:

sum(kube_pod_container_resource_limits_cpu_cores{})
10、节点CPU总量

PromQL语句:

sum(kube_node_status_capacity_cpu_cores{}) 
11、节点内存请求值(bytes 1024/1024/1024后为GB)

PromQL语句:

sum(kube_pod_container_resource_requests_memory_bytes{})/1024/1024/1024
12、节点内存限制值

PromQL语句:

sum(kube_pod_container_resource_limits_memory_bytes{})
13、节点内存总量

PromQL语句:

sum(kube_node_status_capacity_memory_bytes{}/1024/1024/1024)
14、节点不可用监控

PromQL语句:

sum(kube_node_spec_unschedulable{node=~"$node"})
15、Pod 的生命周期监控

PromQL语句:

kube_pod_status_phase{phase=~"Pending|Running"} == 1

说明:kube_pod_status_phase可以统计Pod的数量,phase的值:Running(运行中)Pod 已经绑定到了某个节点,Pod 中所有的容器都已被创建。至少有一个容器仍在运行,或者正处于启动或重启状态。官网对Pod 的生命周期说明:
https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/
PromQL语句:

sum(kube_pod_status_phase{namespace=~".*", phase="Pending"}==1)

说明:监控悬决的Pods数量;Pod 已被 Kubernetes 系统接受,但有一个或者多个容器尚未创建亦未运行。此阶段包括等待 Pod 被调度的时间和通过网络下载镜像的时间
PromQL语句:

sum(kube_pod_status_phase{namespace=~".*", phase="Failed"}==1)

说明:监控成功终止的Pods数量;Pod 中的所有容器都已终止,并且至少有一个容器是因为失败终止。也就是说,容器以非 0 状态退出或者被系统终止
PromQL语句:

sum(kube_pod_status_phase{namespace=~".*", phase="Succeeded"}==1)

说明:监控成功终止的Pods数量;Pod 中的所有容器都已成功终止,并且不会再重启
PromQL语句:

sum(kube_pod_status_phase{namespace=~".*", phase="Unknown"}==1)

说明:监控未知的Pods数量;因为某些原因无法取得 Pod 的状态。这种情况通常是因为与 Pod 所在主机通信失败

16、监控K8S已运行的容器

PromQL语句:

kube_pod_container_status_running{namespace=~".*"}==1

说明:监控正在运行容器数量;可以绘制K8S集群的容器数量

17、监控K8S等待创建的容器

PromQL语句:

kube_pod_container_status_waiting{namespace=~".*"}==1

说明:监控K8S等待创建的容器;可以监控容器

18、监控K8S停止的容器

PromQL语句:

kube_pod_container_status_terminated{namespace=~".*"}==1

说明:监控K8S停止的容器;可以监控容器

19、监控作业中心成功数

PromQL语句:

sum(kube_job_status_succeeded{namespace=~".*"})

说明:监控作业中心成功数;可以监控作业执行的成功数

20、监控每个部署的副本数

PromQL语句:

sum(kube_deployment_status_replicas{namespace=~".*"})

说明:kube_deployment_status_replicas 表示每个部署的副本数,这值是Status.Replicas;
kube_deployment_spec_replicas表示部署所需的吊舱数。这值是Spec.Replicas资源定义副本数
kube_deployment_status_replicas_available 正在运行副本数
kube_deployment_status_replicas_updated 更新的副本数
kube_deployment_status_replicas_unavailable 不可用的副本数

21、集群磁盘使用率

PromQL语句:

(sum (node_filesystem_size_bytes{nodename=~".*"}) - sum (node_filesystem_free_bytes{nodename=~".*"})) / sum (node_filesystem_size_bytes{nodename=~".*"})

说明:监控K8S集群磁盘使用率

22、集群监控磁盘卷可用空间的

PromQL语句:

kubelet_volume_stats_available_bytes / kubelet_volume_stats_capacity_bytes * 100 < 10

说明:监控K8S监控磁盘卷可用空间的,小于10就告警

23、集群监控预测磁盘卷7天是否满

PromQL语句:

predict_linear(kubelet_volume_stats_available_bytes[1h], 7 * 24 * 3600) < 0

说明:监控K8S集群监控预测磁盘卷7天是否满,小于0就告警

24、集群监控PV使用状态监控

PromQL语句:

kube_persistentvolume_status_phase{phase=~"Failed|Pending"} > 0
  • kube_persistentvolume_status_phase:PV使用状态

说明:监控K8S集群监控PV使用状态,大于0就告警

24、集群监控StatefulSet是否down

PromQL语句:

(kube_statefulset_status_replicas_ready / kube_statefulset_status_replicas_current) != 1

说明:监控K8S集群StatefulSet是否down,不于1就告警

25、集群监控HPA动态伸缩异常

PromQL语句:

(sum(kube_hpa_status_condition{condition="ScalingLimited",status="true"}) by (hpa,namespace)) == 1

说明:监控K8S集群HPA动态伸缩异常,等于1就告警

25、集群监控当前5分钟POD重启的次数

PromQL语句:

rate(kube_pod_container_status_restarts_total[5m]) * 60 * 5 >2

说明:监控K8S集群监控当前5分钟POD重启的次数,大于2就告警

25、集群监控replicaset副本数状态

PromQL语句:

kube_replicaset_spec_replicas != kube_replicaset_status_ready_replicas

说明:监控K8S集群集群监控replicaset副本数状态,不等异常
同理:

kube_deployment_spec_replicas != kube_deployment_status_replicas_available
kube_statefulset_status_replicas_ready != kube_statefulset_status_replicas
kube_deployment_status_observed_generation != kube_deployment_metadata_generation
kube_statefulset_status_observed_generation != kube_statefulset_metadata_generation

你可能感兴趣的:(docker-k8s容器技术,运维,centos,linux)