k8s日志收集实战

基础知识

Docker 引擎日志

Docker 引擎日志 一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下，后者一般通过 jounarlctl -u docker 来读取。不同系统的位置都不一样.

系统日志位置

• Ubuntu(14.04) /var/log/upstart/docker.log
• Ubuntu(16.04) journalctl -u docker.service
• CentOS 7/RHEL 7/Fedora journalctl -u docker.service
• CoreOS journalctl -u docker.service
• OpenSuSE journalctl -u docker.service
• OSX ~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/log/d‌​ocker.log
• Debian GNU/Linux 7 /var/log/daemon.log
• Debian GNU/Linux 8 journalctl -u docker.service
• Boot2Docker /var/log/docker.log

容器日志

容器的日志 则可以通过 docker logs 命令来访问，而且可以像 tail -f 一样，使用 docker logs -f 来实时查看。如果使用 Docker Compose，则可以通过 docker-compose logs <服务名> 来查看。

如果深究其日志位置，每个容器的日志默认都会以 json-file 的格式存储于 /var/lib/docker/containers/<容器id>/<容器id>-json.log 下，不过并不建议去这里直接读取内容，因为 Docker 提供了更完善地日志收集方式 - Docker 日志收集驱动。

关于日志收集，Docker 内置了很多日志驱动，可以通过类似于 fluentd, syslog 这类服务收集日志。无论是 Docker 引擎，还是容器，都可以使用日志驱动。比如，如果打算用 fluentd 收集某个容器日志，可以这样启动容器：

$ docker run -d \
–log-driver=fluentd \
–log-opt fluentd-address=10.2.3.4:24224 \
–log-opt tag=”docker.{{.Name}}” \
nginx

其中 10.2.3.4:24224 是 fluentd 服务地址，实际环境中应该换成真实的地址。

dockerd 日志配置

要改变dockerd的日志为debug，可以重启dockerd，并提供启动参数-D或–debug，示例如下：

dockerd -D

dockerd的日志文件，默认为/var/log/messages，也可以重定向到其他日志文件，示例如下：

dockerd -D >> log_file 2>&1

方法二：
vi /etc/docker/daemon.json

{  
  "debug": true  
}

重启docker daemon

systemctl stop docker 
systemctl daemon-reload 
systemctl start docker

dockerd的日志级别
dockerd支持的日志级别debug, info, warn, error, fatal，默认的日志级别为info。必要的情况下，还需要设置日志级别，这也可以通过配置文件，或者通过启动参数-l或–log-level。
方法一：配置文件/etc/docker/daemon.json

{  
  "log-level": "debug"  
} 

方法二：

dockerd --log-level debug  
dockerd -l debug

1
查看日志
方法一：

tail -f /var/log/messages

方法二：

watch -d -n 1 cat /var/log/messages

-d表示高亮不同的地方，-n表示多少秒刷新一次。
该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可

日志收集方案