监控原理
Docker 是基于 Namespace、Cgroups 和联合文件系统实现的。其中 Cgroups 不仅可以用于容器资源的限制,还可以提供容器的资源使用率,无论何种监控方案的实现,底层数据都来源于
Cgroups
。
Cgroups 的工作目录为/sys/fs/cgroup
,该目录下包含了 Cgroups 的所有内容,Cgroups 包含很多子系统,可以用来对不同的资源进行限制,例如对 CPU、内存、PID、磁盘IO 等资源进行限制和监控。
总的来说,容器的监控原理其实就是定时读取 Linux 主机上相关文件并展示给用户。
获取容器指标信息
以下说明下监控组件是如何获取到容器的资源限制和使用状态的:
### 运行后的容器ID为:51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
$ docker run --cpus=1 --memory=2g --name=nginx -d nginx
### Docker会在/sys/fs/cgroup/memory/docker目录下以容器ID为名称创建对应的文件夹
$ ls -l /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1
total 0
-rw-r--r-- 1 root root 0 Sep 2 15:21 cgroup.clone_children
--w--w--w- 1 root root 0 Sep 2 15:13 cgroup.event_control
-rw-r--r-- 1 root root 0 Sep 2 15:12 cgroup.procs
-rw-r--r-- 1 root root 0 Sep 2 15:12 memory.failcnt
--w------- 1 root root 0 Sep 2 15:21 memory.force_empty
......
### memory.limit_in_bytes 文件代表该容器内存限制大小,单位为 byte
$ cat /sys/fs/cgroup/memory/docker/51041a74070e9260e82876974762b8c61c5ed0a51832d74fba6711175f89ede1/memory.limit_in_bytes
2147483648
### 网络的监控数据来源是从 /proc/{Pid}/net/dev 目录下读取的
$ docker inspect nginx | grep Pid
"Pid": 27348,
"PidMode": "",
"PidsLimit": 0,
### 根据Pid去获取该容器的每一个网卡的流量接收和发送情况,以及错误数、丢包数等信息
$ cat /proc/27348/net/dev
Inter-| Receive | Transmit
face |bytes packets errs drop fifo frame compressed multicast|bytes packets errs drop fifo colls carrier compressed
lo: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
eth0: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
监控方案
生产环境中,监控容器的状态十分重要,通过监控可以随时掌握容器的运行状态,做到线上隐患和问题早发现,早解决。而 Docker 容器的监控方案有很多,除了自带的
docker stats
命令,还有很多开源的解决方案,例如sysdig
、cAdvisor
、Prometheus
等。
内置命令
使用 Docker 自带的
docker stats
命令,可以方便地看到主机上所有容器的 CPU、内存、网络IO、磁盘IO、PID 等资源的使用情况,但是它只能获取本机数据,而且无法查看历史监控数据,也没有可视化展示面板。命令示范如下:
$ docker run --cpus=2 --memory=4g --name=nginx -d nginx
$ docker stats nginx
CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
nginx 18.70% 2.088 GiB / 4 GiB 52.2% 0 B / 0 B 256 MB / 266 MB 357
cAdvisor
cAdvisor 是谷歌开源的一款通用的容器监控解决方案,它不仅可以采集机器上所有运行的容器信息,还提供了基础的查询界面和 HTTP 接口,更方便与外部系统结合。所以,cAdvisor 很快成了容器指标监控最常用组件,并且 Kubernetes 也集成了 cAdvisor 作为容器监控指标的默认工具。
总体来说,使用 cAdvisor 监控容器具有以下特点:
● 可以同时采集物理机和容器的状态;
● 可以展示监控历史数据。