K8s------Metrics-Server资源监控
K8s------Metrics-Server资源监控
- 1 Metrics -Server的介绍
- 2 Metrics-server部署
- 3 Dashboard部署
1 Metrics -Server的介绍
K8s的api-server将所有的数据持久化到了etcd中，显然k8s本身不能处理这种频率的采集，而且这种监控数据变化快且都是临时数据，因此需要有一个组件单独处理他们，k8s版本只存放部分在内存中，于是metric-server的概念诞生了
Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster
容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。
metric api的使用：
（1）Metrics API 只可以查询当前的度量数据，并不保存历史数据。
（2）Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metrics 维护。
（3）必须部署 metrics-server 才能使用该 API，metrics-server 通过调用 Kubelet Summary API 获取数据
Metrics Server 并不是 kube-apiserver 的一部分，而是通过 Aggregator 这种插件机制，在独立部署的情况下同 kube-apiserver 一起统一对外服务的。
kube-aggregator 其实就是一个根据 URL 选择具体的 API 后端的代理服务器
Metrics-server属于Core metrics(核心指标)，提供API metrics.k8s.io，仅提供Node和Pod的CPU和内存使用情况。而其他Custom Metrics(自定义指标)由Prometheus等组件来完成
Metrics server定时从Kubelet的Summary API(类似/ap1/v1/nodes/nodename/stats/summary)采集指标信息，这些聚合过的数据将存储在内存中，且以metric-api的形式暴露出去。
Metrics server复用了api-server的库来实现自己的功能，比如鉴权、版本等，为了实现将数据存放在内存中吗，去掉了默认的etcd存储，引入了内存存储（即实现Storage interface)。因为存放在内存中，因此监控数据是没有持久化的，可以通过第三方存储来拓展，这个和heapster是一致的
资源下载：https://github.com/kubernetes-incubator/metrics-server
Kubernetes 监控架构
-
核心流程（黑色部分）：这是 Kubernetes正常工作所需要的核心度量，从 Kubelet、cAdvisor等获取度量数据，再由metrics-server提供给 Dashboard、HPA 控制器等使用。
-
监控流程（蓝色部分）：基于核心度量构建的监控流程，比如 Prometheus 可以从 metrics-server获取核心度量，从其他数据源（如 Node Exporter 等）获取非核心度量，再基于它们构建监控告警系统。
2 Metrics-server部署
（1）下载应用文件
wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
- 将部署Metrics-server所需的镜像上传至私有仓库
- 应用文件：
kubectl apply -f components.yaml - 查看kube-system命名空间中的pod的信息：
kubectl -n kube-system get pod
（2）解决报错
- 查看pod失败的原因：
kubectl describe -n kube-system pod metrics-server-7f9d59986d-l9z79
- pod已经运行，ready时出错，故查看Metrics-server的Pod日志信息
kubectl logs -n kube-system metrics-server-7f9d59986d-l9z79
报错2：x509: certificate signed by unknown authority
注意： Metric Server 支持一个参数 --kubelet-insecure-tls，可以跳过这一检查，然而官方也明确说了，这种方式不推荐生产使用。
（3）解决方案：启用TLS Bootstrap 证书签发
- 查看kube-system命名空间服务的信息：
kubectl -n kube-system get svc
- 查看 metrics-server服务的信息：
kubectl describe -n kube-system svc metrics-server
- 在各个节点修改kubelet的配置文件：
vim /var/lib/kubelet/config.yaml
- 重启服务：
systemctl restart kubelet.service - 查看认证信息：
kubectl get csr
- 通过认证：kubectl certificate approve csr-hc59r csr-hhzld csr-rvtw7
- 查看kube-system命名空间中pod的信息：
kubectl get pod -n kube-system
- 查看metrics-server服务的信息：
kubectl describe -n kube-system svc metrics-server，Endpoints被分配到ip
（4）测试
- 查看节点的cpu和内存资源：
kubectl top node
- 查看pod的资源使用情况：
kubectl -n kube-system top pod
kubectl get --raw “/apis/metrics.k8s.io/v1beta1/nodes/server1”
3 Dashboard部署
Dashboard可以给用户提供一个可视化的 Web 界面来查看当前集群的各种信息。用户可以用 Kubernetes Dashboard 部署容器化的应用、监控应用的状态、执行故障排查任务以及管理 Kubernetes 各种资源
官网：https://github.com/kubernetes/dashboard
（1）下载部署文件：
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml
- 将部署需要的镜像上传至私有仓库
（2）应用文件：kubectl apply -f recommended.yaml
- 查看命名空间：
kubectl get ns
- 查看命名空间kubernetes-dashboard所有的信息：
kubectl -n kubernetes-dashboard get all
- 查看metallb-system命名空间pod的信息：
kubectl -n metallb-system get pod
- 查看kubernetes-dashboard 的服务信息：
kubectl -n kubernetes-dashboard get svc
（3） 修改服务的类型：kubectl -n kubernetes-dashboard edit svc kubernetes-dashboard，设置外部访问的ip
- 查看kubernetes-dashboard服务的信息：
kubectl -n kubernetes-dashboard get svc
- 在浏览器页面测试
- 查看kubernetes-dashboard 的sa信息：
kubectl -n kubernetes-dashboard describe sa kubernetes-dashboard
- 查看kubernetes-dashboard-token-skbn6的token：
kubectl -n kubernetes-dashboard describe secrets kubernetes-dashboard-token-skbn6
- 在浏览器页面访问
- 成功登陆页面，但是此时并没有查看资源的权限，默认dashboard对集群没有操作权限，需要授权
解决方案：给集群授权
- 应用文件：
kubectl apply -f rbac.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: kubernetes-dashboard-admin
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: kubernetes-dashboard
namespace: kubernetes-dashboard
- 刷新页面，可以展示metrics-server的数据指标
Dashboard如果无法展示metrics-server的数据指标，可以通过以下两种方式解决：
- 修改dashboard-metrics-scraper 的Pod网络模式： hostNetwork: true
- 通过node或pod的亲和性设置，让dashboard-metrics-scraper和metrics-server的Pod处于同一个node节点
- 在图形化界面创建pod
- pod创建成功
- 在图形化界面删除pod
