容器检查
kubectl get 和kubectl describe 查询部署状态
kubectl logs将容器的标准输出重定向到终端
kubectl top查看CPU和内存使用情况
kubectl exec 可在容器内运行shell
K8s仪表盘
整合上述数据，web可视化展示
监控k8s
应用程序：关注内部状态数据，可用分析profiling工具或跟踪tracking工具诊断
主机：监控框架提供的代理完成主机数据采集，如负载、磁盘、网络连接
外部资源：检查其他依赖组件的状态
容器：将容器相关逻辑附加到度量指标，如Pod标签、控制器名称
k8s：负责管理、调度、编排应用程序，关注k8s状态
k8s监控要点：监控栈的每层，找到对应的采集器，如cAdvisor来满足容器级别指标收集需求，聚合主机上每个运行的容器的资源使用情况和性能统计信息（cAdviser部署在主机而非容器，嵌入在kubelet中）；监控栈另一个重要组件Heapster，从每个节点检索监控统计信息，主要是节点上的kubelet然后写入外部接收器；通过restfull api公开聚合度量指标
cAdvisor和Heapster专注于监控物理指标，kube-state-metrics关注逻辑状态，监控Kubernetes master节点，并将监控内容转换为Prometheus格式的指标
监控实践
Prometheus介绍
Prometheus框架包含若干组件
依靠代理从系统组件中收集统计信息，采用pull拉取模型的方式收集数据，不被动接收指标而是主动从exporter拉数据
存储后端是内嵌的LevelDB，可以切换到其他存储如InfluxDB或Graphite
Prometheus服务器负责根据预先配置的规则向警报管理器Alert Manager发送警报，警报管理器处理警报并发送作业，将警报分组并发送到消息推送工具，如电子邮件、Slack、Pagerduty
使用PromQL
三种数据类型
即时向量instant vector：数据采样的时间序列
范围向量range vector：包含特定时间范围内的数据的一组时间序列
标量scalar：具体的数值
Kubernetes目标发现
Prometheus只从它知道的端点中提取指标，要明确告诉他从哪里收集数据
路径/config是当前已配置目标的列表，默认情况下，会有一项作业（job）收集Prometheus自身的指标，位于路径/metrics下
Prometheus的默认作业被配置为静态目标，但Kubernetes中的容器是动态创建和销毁的，Prometheus通过k8s内部服务发现功能，查询运行服务的信息，并相应的将目标配置添加或删除
四种发现机制
节点发现模式：为每个节点创建一个目标，默认情况下，目标端口是kubelet的端口
服务发现模式：为每个服务对象创建目标，并且服务中的所有已定义端口将成为抓取目标
Pod发现模式：为每个pod创建目标，为每个pod保留所有已定义的容器端口
端口发现模式：发现服务创建的端口对象
Prometheus只获取集群中被标记的资源，如pod注解格式如下：
prometheus.io/scrape：true 表示应拉取这个pod
prometheus.io/path：公开指标路径，只有目标pod使用/metrics之外路径才需要配置
prometheus.io/port：如定义的端口和实际端口不同，注释覆盖
从Kubernetes收集数据
Prometheus监控步骤：
安装exporter、适当标记进行注解、自动发现端点上收集数据
Kubernetes组件其他指标
Kubernetes API服务器：在/metrics处显示其状态，默认情况此目标会启动
kube-controller-manager：端口10252
kube-scheduler：端口10251
kube-dns：两个容器dnsmasq、sky-dns，端口10054、10055
etcd：端口4001
nginx Ingress控制器：端口10254
使用Grafana查看指标
Grafana查看Prometheus指标，必须先添加数据源，连接到Prometheus服务器
配置参数：
示例：
日志
日志系统主要组件
日志代理：程序的抽象层，收集、转换、分发日志到后端
日志后端：存储接收到的日志
三种日志记录方式
将所有内容发送到stdout/stderr
写入日志文件
将日志发送到日志代理或直接记录到后端
日志聚合模式
节点代理方式收集日志
kubectl logs查看的消息是从容器stdout/stderr重定向输出的
kubectl log从kubelet获取日志，kubelet将日志从容器引擎聚合到主机的/var/log/containers.
配置日志代理从系统、Kubernetes、Master和节点上的/var/log下的各组件收集日志
如kube-proxy.log、kube-apiserver.log、kube-scheduler.log、kube-controller-manager.log、etcd.long
Sidecar容器方式转发日志
每个应用程序的pod都有两个容器共享相同的emptyDir卷，Sidecar容器可以跟踪应用程序容器中的日志并将它们发送到Pod之外，利用Sidecar容器将日志输出到标准流
获取Kubernetes事件
Eventer可以帮助观察k8s API服务器并将事件聚合到日志记录接收器中
Eventer是Heapster的一部分，支持ES、InfluxDB、Riemann、Google Cloud Logging作为接收器
Fluentd和Elasticsearch日志
日志系统和监控系统架构：采集器、存储、用户界面
相应组件：Fluentd\Eventer、ES、Kibana
ES：文本搜索和分析引擎，是数据存储、处理和分析的理想选择
Fluentd：较低内存占用空间，满足日志代理选项，FluentBit 可资源利用最小化
从日志中提取指标
构建针对Kubernetes上应用程序的监控和日志系统
Prometheus善于处理时间序列数据，但没法提取文本
mtail、GrokExporter等工具会计算日志条目，并将这些数字组织到指标中，以便可以在Prometheus中处理它们
总结
kubectl获取容器运行状态
Prometheus为核心构建监控系统，通过Exporter收集Kubernetes指标，Grafana可视化监控数据
EFK堆栈来处理日志，ES存储日志，Kibana可视化日志