Docker日志收集新方案:log-pilot

今天,我们将隆重介绍一款新的docker日志收集工具:log-pilot Github项目地址:https://github.com/AliyunContainerService/log-pilot 你可以在每台机器上部署一个log-pilot实例,就可以收集机器上所有Docker应用日志。log-pilot具有如下特性

  1. 一个单独log进程,收集机器上所有容器的日志。不需要为每个容器启动一个log进程
  2. 支持文件日志和stdout。docker log dirver亦或logspout只能处理stdout,log-pilot不光支持收集stdout日志,还可以收集文件日志。
  3. 声明式配置。当你的容器有日志要收集,只要通过label声明要收集的日志文件的路径,无需改动其他任何配置,log-pilot就会自动收集新容器的日志。
  4. 支持多种日志存储方式。无论是强大的阿里云日志服务,还是比较流行的elasticsearch组合,甚至是graylog,log-pilot都能把日志投递到正确的地点。
  5. 开源。log-pilot完全开源,代码在这里。如果现有的功能不满足你的需要,欢迎提issue,如果能贡献代码就更好了。

快速启动

下面我们先演示一个最简单的场景:我们先启动一个log-pilot,再启动一个tomcat容器,让log-pilot收集tomcat的日志。为了简单起见,这里先不涉及sls或者elk,如果你想在本地玩玩,只需要有一台运行docker的机器就可以了。

首先启动log-pilot。要注意的是,以这种方式启动,由于没有配置后端使用的日志存储,所有收集到的日志都会直接输出到控制台,所以主要用于调试。

打开终端,输入命令:

docker run --rm -it \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v /:/host \
    --privileged \
    registry.cn-hangzhou.aliyuncs.com/acs-sample/log-pilot:0.1

Docker日志收集新方案:log-pilot_第1张图片

你会看到log-pilot启动的日志。别关终端。新开一个终端启动tomcat。tomcat镜像属于少数同时使用了stdout和文件日志的docker镜像,非常适合这里的演示。

docker run -it --rm  -p 10080:8080 \
-v /usr/local/tomcat/logs \
--label aliyun.logs.catalina=stdout \
--label aliyun.logs.access=/usr/local/tomcat/logs/localhost_access_log.*.txt \
tomcat

先解释下这里的配置。aliyun.logs.catalina=stdout告诉log-pilot这个容器要收集stdout日志,aliyun.logs.access=/usr/local/tomcat/logs/localhost_access_log.*.txt则表示要收集容器内/usr/local/tomcat/logs/目录下所有名字匹配localhost_access_log.*.txt的文件日志。后面会详细介绍label的用法。

如果你在本地部署tomcat,而不是在阿里云容器服务上,-v /usr/local/tomcat/logs也需要,否则log-pilot没法读取到日志文件。容器服务自动做了优化,不需自己加-v了。

log-pilot会监控Docker容器事件,发现带有aliyun.logs.xxx容器的时候,自动解析容器配置,并且开始收集对应的日志。启动tomcat之后,你会发现log-pilot的终端立即输出了一大堆的内容,其中包含tomcat启动时输出的stdout日志,也包括log-pilot自己输出的一些调试信息。

Docker日志收集新方案:log-pilot_第2张图片
你可以打开浏览器访问刚刚部署的tomcat,你会发现每次刷新浏览器,在log-pilot的终端里都能看到类似如下的记录。其中message后面的内容就是从/usr/local/tomcat/logs/localhost_access_log.XXX.txt里收集到的日志。

使用Elasticsearch+Kibana

首先我们要部署一套Elastichsearch+Kibana,前面的文章里介绍过如何在阿里云容器服务里部署ELK,你可以参照文章在容器服务上直接部署,或者按照Elasticsearch/Kibana的文档直接在机器上部署,这里不再赘述。假设已经部署好了这两个组件。

如果你还在运行刚才启动的log-pilot,先关掉,使用下面的命令启动,执行之前,注意先把ELASTICSEARCH_HOST ELASTICSEARCH_PORT两个变量替换成你实际使用的值。ELASTICSEARCH_PORT一般是9200

docker run --rm -it \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v /:/host \
    -e FLUENTD_OUTPUT=elasticsearch \
    -e ELASTICSEARCH_HOST=${ELASTICSEARCH_HOST} \
    -e ELASTICSEARCH_PORT=${ELASTICSEARCH_PORT} \
    --privileged \
    registry.cn-hangzhou.aliyuncs.com/acs-sample/log-pilot:0.1

相比前面启动log-pilot的方式,这里增加了三个环境变量:

  • FLUENTD_OUTPUT=elasticsearch: 把日志发送到elasticsearch
  • ELASTICSEARCH_HOST=${ELASTICSEARCH_HOST}: elasticsearch的域名
  • ELASTICSEARCH_PORT=${ELASTICSEARCH_PORT}: elasticsearch的端口号

继续运行前面的tomcat,再次访问,让tomcat产生一些日志,所有这些新产生的日志都讲发送到elasticsearch里。打开kibana,这时候你应该还看不到新日志,需要先创建index。log-pilot会把日志写到elasticsearch特定的index下,规则如下

1. 如果应用上使用了标签aliyun.logs.tags,并且tags里包含target,使用target作为elasticsearch里的index,否则
2. 使用标签aliyun.logs.XXX里的XXX作为index

在前面tomcat里的例子里,没有使用aliyun.logs.tags标签,所以默认使用了accesscatalina作为index。我们先创建index access

Docker日志收集新方案:log-pilot_第3张图片

创建好index就可以查看日志了。

Docker日志收集新方案:log-pilot_第4张图片

在阿里云容器服务里使用log-pilot

容器服务是最适合log-pilot运行的地方,专门为log-pilot做了优化。要在容器服务里运行log-pilot,你需要做的仅仅是使用下面的编排文件创建一个新应用。

pilot:
  image: registry.cn-hangzhou.aliyuncs.com/acs-sample/log-pilot:0.1
  volumes:
    - /var/run/docker.sock:/var/run/docker.sock
    - /:/host
  privileged: true
  environment:
    FLUENTD_OUTPUT: elasticsearch #按照你的需要替换 
    ELASTICSEARCH_HOST: ${elasticsearch} #按照你的需要替换
    ELASTICSEARCH_PORT: 9200
  labels:
    aliyun.global: true

接下来,你就可以在要收集日志的应用上使用aliyun.logs.xxx标签了。

Label说明

启动tomcat的时候,我们声明了这样下面两个,告诉log-pilot这个容器的日志位置。

--label aliyun.logs.catalina=stdout 
--label aliyun.logs.access=/usr/local/tomcat/logs/localhost_access_log.*.txt 

你还可以在应用容器上添加更多的标签

  • aliyun.logs.$name = $path

    • 变量name是日志名称,具体指随便是什么,你高兴就好。只能包含0-9a-zA-Z_-
    • 变量path是要收集的日志路径,必须具体到文件,不能只写目录。文件名部分可以使用通配符。/var/log/he.log/var/log/*.log都是正确的值,但/var/log不行,不能只写到目录。stdout是一个特殊值,表示标准输出
  • aliyun.logs.$name.format,日志格式,目前支持

    • none 无格式纯文本
    • json: json格式,每行一个完整的json字符串
    • csv: csv格式
  • aliyun.logs.$name.tags: 上报日志的时候,额外增加的字段,格式为k1=v1,k2=v2,每个key-value之间使用逗号分隔,例如

    • aliyun.logs.access.tags="name=hello,stage=test",上报到存储的日志里就会出现name字段和stage字段
    • 如果使用elasticsearch作为日志存储,target这个tag具有特殊含义,表示elasticsearch里对应的index

扩展log-pilot

对于大部分用户来说,log-pilot现有功能足以满足需求,如果遇到没法满足的场景怎么办?

  1. 到 https://github.com/AliyunContainerService/log-pilot/issues 提交issue
  2. 直接改代码,再提pr

地址

你可能感兴趣的:(Docker日志收集新方案:log-pilot)