一、概述
使用 helm 安装 Prometheus Operator。使用 helm 安装后，会在 Kubernetes 集群中创建、配置和管理 Prometheus 集群，chart 中包含多种组件：
- prometheus-operator
- prometheus
- alertmanager
- node-exporter
- kube-state-metrics
- grafana
- 收集 Kubernetes 内部组件指标的监控服务
- kube-apiserver
- kube-scheduler
- kube-controller-manager
- etcd
- kube-dns/coredns
- kube-proxy
架构
Prometheus Operator 架构图如下：
上面架构图中，各组件以不同的方式运行在 Kubernetes 集群中：
- Operator： 根据自定义资源（Custom Resource Definition / CRDs）来部署和管理 Prometheus Server，同时监控这些自定义资源事件的变化来做相应的处理，是整个系统的控制中心。
- Prometheus：声明 Prometheus deployment 期望的状态，Operator 确保这个 deployment 运行时一直与定义保持一致。
- Prometheus Server： Operator 根据自定义资源 Prometheus 类型中定义的内容而部署的 Prometheus Server 集群，这些自定义资源可以看作是用来管理 Prometheus Server 集群的 StatefulSets 资源。
- ServiceMonitor：声明指定监控的服务，描述了一组被 Prometheus 监控的目标列表。该资源通过 Labels 来选取对应的 Service Endpoint，让 Prometheus Server 通过选取的 Service 来获取 Metrics 信息。
- Service：简单的说就是 Prometheus 监控的对象。
- Alertmanager：定义 AlertManager deployment 期望的状态，Operator 确保这个 deployment 运行时一直与定义保持一致。
二、安装
环境说明
操作系统：centos 7.6
ip地址：192.168.31.148
k8s版本：v1.16.3
主机名：k8s-master
配置：2核4g
helm：v2.16.6
操作系统：centos 7.6
ip地址：192.168.31.179
k8s版本：v1.16.3
主机名：k8s-node01
配置：4核8g
安装
Prometheus Operator 所有的组件都打包成 Helm Chart，安装部署非常方便。
helm install --name prometheus-operator --set rbacEnable=true --namespace=monitoring stable/prometheus-operator
查看资源
#查看创建的资源 kubectl get all -n monitoring #查看安装后的release helm list #查看访问类型 kubectl get svc -n monitoring
查看状态
# kubectl get pod -n monitoring NAME READY STATUS RESTARTS AGE pod/alertmanager-prometheus-operator-alertmanager-0 2/2 Running 0 98m pod/prometheus-operator-grafana-857dfc5fc8-vdnff 2/2 Running 0 99m pod/prometheus-operator-kube-state-metrics-66b4c95cd9-mz8nt 1/1 Running 0 99m pod/prometheus-operator-operator-56964458-8sspk 2/2 Running 0 99m pod/prometheus-operator-prometheus-node-exporter-dcf5p 1/1 Running 0 99m pod/prometheus-operator-prometheus-node-exporter-nv6ph 1/1 Running 0 99m pod/prometheus-prometheus-operator-prometheus-0 3/3 Running 1 98m
确保pod状态运行正常
方法1：修改访问类型为NodePort
将type类型值改为NodePort
kubectl edit svc prometheus-operator-grafana -n monitoring kubectl edit svc prometheus-operator-alertmanager -n monitoring kubectl edit svc prometheus-operator-prometheus -n monitoring
查看修改后的访问类型
# kubectl get svc -n monitoring NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE alertmanager-operated ClusterIP None9093/TCP,9094/TCP,9094/UDP 100m prometheus-operated ClusterIP None 9090/TCP 100m prometheus-operator-alertmanager NodePort 10.1.238.78 9093:31765/TCP 102m prometheus-operator-grafana NodePort 10.1.125.228 80:30284/TCP 102m prometheus-operator-kube-state-metrics ClusterIP 10.1.187.129 8080/TCP 102m prometheus-operator-operator ClusterIP 10.1.242.61 8080/TCP,443/TCP 102m prometheus-operator-prometheus NodePort 10.1.156.181 9090:30268/TCP 102m prometheus-operator-prometheus-node-exporter ClusterIP 10.1.226.134 9100/TCP 102m
修改 kubelet 打开只读端口
prometheus 需要访问 kubelet 的 10255 端口获取 metrics。但是默认情况下 10255 端口是不开放的，会导致 prometheus 上有 unhealthy。打开只读端口需要编辑所有节点的vi /var/lib/kubelet/config.yaml (我这里有图形界面可以用gedit命令)文件，加入以下内容
port: 10250 readOnlyPort: 10255 #增加此行
重启 kubelet 服务
systemctl restart kubelet.service
查看grafana随机端口
# kubectl get svc -n monitoring|grep grafana prometheus-operator-grafana NodePort 10.1.125.22880:30284/TCP 106m
可以看到，它的随机端口为：30284
访问grafana，地址为：http://nodeip:30284/
默认的用户名/密码为：admin/prom-operator，登陆后，点击Manage，如下图：
效果如下：
方法2：通过 Ingress 来暴漏服务
安装Ingress
kubectl apply -f https://kuboard.cn/install-script/v1.17.x/nginx-ingress.yaml
新建文件prometheus-ingress.yaml：
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
namespace: monitoring
name: prometheus-ingress
spec:
rules:
- host: grafana.domain.com
http:
paths:
- backend:
serviceName: prometheus-operator-grafana
servicePort: 80
- host: prometheus.domain.com
http:
paths:
- backend:
serviceName: prometheus-operator-prometheus
servicePort: 9090
- host: alertmanager.domain.com
http:
paths:
- backend:
serviceName: prometheus-operator-alertmanager
servicePort: 9093
执行命令
kubectl apply -f prometheus-ingress.yaml
修改hosts文件：
192.168.31.179 grafana.domain.com 192.168.31.179 prometheus.domain.com 192.168.31.179 alertmanager.domain.com
注意：192.168.31.179 是Node节点ip
访问以下几个url，是否正常。
http://grafana.domain.com http://prometheus.domain.com http://alertmanager.domain.com
效果如下：
三、修改k8s配置
Prometheus Operator某些图表没有数据，需要修改配置文件才行。
etcd
prometheus 通过 4001 端口访问 etcd metrics，但是 etcd 默认监听 2379。解决方法是在 /etc/kubernetes/manifests/etcd.yaml
增加k8s-app: etcd-server
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
k8s-app: etcd-server
component: etcd
tier: control-plane
重启kubelet
systemctl restart kubelet.service
注意：经验证，此方法无效。etcd依然没有图表数据。
kube-controller-manager
由于 kube-controller-manager 和 kube-scheduler 默认监听 127.0.0.1 ，prometheus 无法通过本机地址获取数据，需要修改kube-controller-manager 和 kube-scheduler 监听地址。
解决办法如下：/etc/kubernetes/manifests/kube-controller-manager.yaml 增加 k8s-app: kube-controller-manager
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
k8s-app: kube-controller-manager
component: kube-controller-manager
tier: control-plane
重启kubelet
systemctl restart kubelet.service
访问图表
kube-scheduler
/etc/kubernetes/manifests/kube-scheduler.yaml增加 k8s-app: kube-scheduler
apiVersion: v1
kind: Pod
metadata:
creationTimestamp: null
labels:
k8s-app: kube-scheduler
component: kube-scheduler
tier: control-plane
重启kubelet
systemctl restart kubelet.service
访问图表
本文参考链接：
https://www.cnblogs.com/majiang/p/11431577.html
https://blog.csdn.net/choerodon/article/details/98587027