cAdvisor (Container Advisor) :用于收集正在运行的容器资源使用和性能信息。https://github.com/google/cadvisor
为了解决docker stats的问题(存储、展示),谷歌开源的cadvisor诞生了,cadvisor不仅可以搜集一台机器上所有运行的容器信息,还提供基础查询界面和http接口,方便其他组件如Prometheus进行数据抓取,或者cadvisor + Prometheus + grafna搭配使用。
cAdvisor可以对节点机器上的资源及容器进行实时监控和性能数据采集,包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况
Cadvisor使用Go语言开发,利用Linux的cgroups获取容器的资源使用信息,在K8S中集成在Kubelet里作为默认启动项,官方标配。
谷歌开发的容器资源采集信息,cadvisor也用到了k8s当中,采集pod容器信息。
运行cadvisor以docker容器的方式运行,运行起来就可以通过ip 端口进行访问了
docker run -d \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:ro \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/dev/disk/:/dev/disk:ro \
--publish=8080:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest
Cadviosr是Google用来监测单节点的资源信息的监控工具。虽然Docker提供了一些CLI的命令行的功能,但是在一个看图的时代,基本的功能是很难满足人民群众日益增长的物质文化需求,Cadvisor提供了一目了然的单节点多容器的资源监控功能。Google的Kubernetes中也缺省地将其作为单节点的资源监控工具,各个节点缺省会被安装上Cadvisor。在免费的世界里,Cadvisor作为一个很不错的工具,越来越多的引起很多人过渡性的关注。
下载二进制:https://github.com/google/cadvisor/releases/latest
本地运行:./cadvisor -port=8080 &>>/var/log/cadvisor.log
docker run -d \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:ro \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/dev/disk/:/dev/disk:ro \
--publish=8080:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
afd8196a70d8 google/cadvisor:latest "/usr/bin/cadvisor -…" 4 minutes ago Up 4 minutes 0.0.0.0:8080->8080/tcp
注意:
在Ret Hat,CentOS, Fedora 等发行版上需要传递如下参数,因为 SELinux 加强了安全策略:
--privileged=true
启动后访问:http://127.0.0.1:8080查看页面,/metric查看指标
这个部署时在你需要监控的docker主机上部署,这些挂载的数据卷卷,cadvisor想要采集的宿主机的目录,所以将宿主机目录挂载在容器当中,通过宿主机目录获取容器相关的资源利用率信息即相关的配置限制。
cAdvisor 的主要功能,总结起来主要两点:
展示 Host 和容器两个层次的监控数据
展示历史变化数据
由于 cAdvisor 提供的操作界面略显简陋,而且需要在不同页面之间跳转,并且只能监控一个 host,这不免会让人质疑它的实用性。但 cAdvisor 的一个亮点是它可以将监控到的数据导出给第三方工具,由这些工具进一步加工处理。
我们可以把 cAdvisor 定位为一个监控数据收集器,收集和导出数据是它的强项,而非展示数据。
下图为cAdvisor的web界面,数据实时刷新但是不能存储。
Docker container详细信息
整体使用状况
CPU详细状况
内存详细状况
Network
FileSystem和Subcontainer
Cad实际上暴露的普罗米修斯的指标,也就是要被普罗米修斯监控,那么暴露出来的指标要符合普罗米修斯的指标格式,下面是要搭建监控系统,普罗米修斯在任何机器部署也行,主要能够从advisor里面获取数据即可
可以看到这就是cad暴露的指标,这些指标可以被普罗米修斯识别认可的。如果时其他格式就识别不了不能存储,这些指标由指标名称和标签,也就是key value的形式体现的。标签越多监控的维度越多。
随着容器技术的迅速发展,Kubernetes 已然成为大家追捧的容器集群管理系统。Prometheus 作为生态圈 Cloud Native Computing Foundation(简称:CNCF)中的重要一员,其活跃度仅次于 Kubernetes, 现已广泛用于 Kubernetes 集群的监控系统中。
Prometheus 简介
Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统,由工作在 SoundCloud 的 google 前员工在 2012 年创建,作为社区开源项目进行开发,并于 2015 年正式发布。2016 年,Prometheus 正式加入 Cloud Native Computing Foundation,成为受欢迎度仅次于 Kubernetes 的项目。
作为新一代的监控框架,Prometheus 具有以下特点:
强大的多维度数据模型:
灵活而强大的查询语句(PromQL):在同一个查询语句,可以对多个 metrics 进行乘法、加法、连接、取分数位等操作。
易于管理: Prometheus server 是一个单独的二进制文件,可直接在本地工作,不依赖于分布式存储。
高效:平均每个采样点仅占 3.5 bytes,且一个 Prometheus server 可以处理数百万的 metrics。
使用 pull 模式采集时间序列数据,这样不仅有利于本机测试而且可以避免有问题的服务器推送坏的 metrics。
可以采用 push gateway 的方式把时间序列数据推送至 Prometheus server 端。
可以通过服务发现或者静态配置去获取监控的 targets。
有多种可视化图形界面。
易于伸缩。
需要指出的是,由于数据采集可能会有丢失,所以 Prometheus 不适用对采集数据要 100% 准确的情形。但如果用于记录时间序列数据,Prometheus 具有很大的查询优势,此外,Prometheus 适用于微服务的体系架构
Prometheus 组成及架构
Prometheus 生态圈中包含了多个组件,其中许多组件是可选的:
Prometheus 架构图
主要内容:
数据的采集从agent采集,也即是cadvisor存储的数据采集起来,通过普罗米修斯的简单UI查看里面的数据
Step1:启动简单启动容器和端口就可以
[root@localhost ~]# docker run -d --name=prometheus -p 9090:9090 prom/prometheus
9bb7d60a70269a8c314794ff822dfec25d7c9230e1f5a19e5553cbf6f2a3c6e7
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9bb7d60a7026 prom/prometheus "/bin/prometheus --c…" 10 seconds ago Up 6 seconds 0.0.0.0:9090->9090/tcp prometheus
afd8196a70d8 google/cadvisor:latest "/usr/bin/cadvisor -…" 18 minutes ago Up 18 minutes 0.0.0.0:8080->8080/tcp cadvisor
Step2: 修改 Prometheus 配置信息,添加 cadvisor 访问地址:
现在要实现通过普罗米修斯收集cad采集的数据,现在部署的这两个组件时没有任何关系的,即普罗米修斯还没有去采集cad的数据。
被监控端有两个概念,一个时job分组,比如web服务器是一组,mysql是一组,这样在使用promql的时候就可以筛选分组。
[root@localhost ~]# docker exec -it prometheus sh
/prometheus $ vi /etc/prometheus/prometheus.yml
scrape_configs:
- job_name: 'prometheus'
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ['localhost:9090']
- job_name: 'webserver'
basic_auth:
username: prometheus
password: 123456
static_configs:
- targets: ['192.168.179.99:9100']
- job_name: 'docker'
static_configs:
- targets: ['192.168.179.99:8080','192.168.179.100:8080']
#这样就添加了被监控端
如果要添加多个
- targets: ['192.168.179.99:8080','xxx.xxx.xxx.xxx']
Step3: 重新加载配置,访问 http://localhost:9090/targets
你将看到新加的 cadvisor
已经生效
#如果需要生效需要重启
[root@localhost ~]# docker restart prometheus
Prometheus
Step4: 此时访问 Prometheus 的 graph 页面 http://localhost:9090/graph
,搜索 container
你将看到容器相关数据
现在要使用prmosql来提供信息来实现数据可视化,现在要监控哪个容器使用的内存,Cad采集的内存不仅仅是容器还有主机的,也就是列出的结果里面只要有这个标签的就是容器(现在要使用prmosql来提供信息来实现数据可视化)
我这里只需要容器的指标,container_memory_usage_bytes{image!=""} 通过这个过滤,这里就都是容器了.
监控Docker主机模板ID:193(这个模板可以直接使用来监控docker来得到仪表盘)
在granfana中使用该模板
这里只能显示一台机器,现在要在一个仪表盘展示多个主机的数据,
如果再新建仪表盘会显得冗余很多,如果每个docker主机都创建一个仪表盘,太麻烦了
如何使用一个仪表盘监控多个docker主机
列出所有被监控端,up指标主要判断被监控端的状态是否是ok的,ok的值为1不ok的值为0
这个语句的格式两个值up为指标名,instance是标签,也就是获取哪个标签(一个指标下面很多标签。每个标签对应一个值)
点击仪表盘设置
这里的Node相对于变量名用来接收许多docker主机值的,label_values(up,instance) 通过label_values获取指标的获取哪个值
可以看到监控多个docker主机了
但是还没完,每个图表里面都有promsql,promql决定了显示哪个容器的数据和显示什么数据
这个默认是获取所有节点的内存,现在要让其显示我选择查看节点的内存怎么设置。在这里需要添加过滤,即添加标签
修改为sum(container_memory_usage_bytes{image!="",instance="$Node"})/1024/1024
这样就能够根据选择的按钮动态引用这个变量,从而获取对应的值进行展示,其他的也需要修改为这样,比如内存网络
再添加节点都是这种流程,不需要操作了,并且一切都是帮你自动显示对应节点的状态信息不需要再和之前一样手动配置
剩下的同理cpu和内存网络都需要修改(修改展示如下)
Cadvisor(采集所有容器资源利用率,相当于agent,在每个docker主机部署 ------> 普罗米修斯主动去从cadvisor里面去采集(数据收集与存储) ------> grafana展示(从普罗米修斯里面可视化展示)
问题 如果仪表不出数据
普罗米修斯里面没有数据