使用阿里云日志服务采集查询kubernetes容器日志

[TOC]

使用阿里云日志服务采集查询kubernetes容器日志

概述

在使用阿里云日志服务之前，我们自建了graylog服务，使用了3台服务器。
使用阿里云日志服务之后，按量付费，每月不到20元，相比使用前，费用节省比较多，也减少了自建日志服务的维护成本。
根据阿里云的监控数据，大概每秒写入500行日志。
从实际使用效果看，对于各环境日志查询，阿里云日志服务能够很好的满足需求。
下面主要讲讲配置细节。

创建日志库

可参考创建日志库

创建logtail机器组和logtail配置

参考logtail采集概述
在此处我创建了两个log配置，一个是采集/var/log目录下的所有.log;另一个是采集/logs/.log，见下图，具体的配置可参考阿里云官方文档[logtail收集日志]（https://help.aliyun.com/document_detail/28967.html?spm=5176.doc28979.2.11.lAWnv0）。
logtail配置图：

logtail机器组：

创建logtail镜像

因为我所在的区域是华东2，使用的是VPC网络，安装时会地域使用cn_shanghai_vpc。
使用的logtail.sh脚本是：http://logtail-release-sh.vpc100-oss-cn-shanghai.aliyuncs.com/linux64/logtail.sh
package所在地址为：http://logtail-release-sh.vpc100-oss-cn-shanghai.aliyuncs.com/linux64/logtail-linux64.tar.gz
user_defined_id为你在之前步骤中配置的机器组用户自定义标识
${account_id} 需要更换为你的阿里云帐号id
Dockerfile内容如下

From registry.cn-shanghai.aliyuncs.com/acs/ilogtail:0.12.1-5dcc770
COPY logtail.sh /logtail.sh
COPY logtail-linux64.tar.gz /logtail-linux64.tar.gz
RUN chmod +x /logtail.sh
RUN sh /logtail.sh install cn_shanghai_vpc
COPY docker_run.sh /usr/local/ilogtail/docker_run.sh
COPY user_defined_id /etc/ilogtail/user_defined_id
RUN mkdir -p /etc/ilogtail/users
RUN touch /etc/ilogtail/users/${account_id}
RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

docker_run.sh内容如下，只是修改了默认区域：

#!/bin/bash

default_log_region='cn_shanghai_vpc'
if [ "$log_region" = "" ];then
    log_region=$default_log_region
fi
cp /usr/local/ilogtail/conf/$log_region/ilogtail_config.json /usr/local/ilogtail/ilogtail_config.json

service ilogtaild start

exit_handle()
{
    service ilogtaild stop
    exit 0
}

trap 'exit_handle' SIGTERM

if [ "$swarm_mode" == "true" ]; then
    exec /usr/local/bin/link_volumes
else
    while true
    do
        sleep 10
    done
fi

根据此dockerfile，生成需要的镜像。

配置kubernetes pod

在kubernetes pod manifest中使用容器之间共享volumn的方式来让logtail收集应用的日志，为了能够在日志查询时区分是哪个应用来的日志，日志挂载目录为：/logs/APP_NAME/ENV_TYPE_VALUE
详细manifest如下：

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  labels:
    app: APP_NAME
  name: APP_NAME
  namespace: ENV_TYPE_VALUE
spec:
  replicas: REPLICA_NUM
  selector:
    matchLabels:
      app: APP_NAME
  template:
    metadata:
      labels:
        app: APP_NAME
    spec:
      nodeSelector:
        node-type: slave
      containers:
      - name: APP_NAME
        image: IMAGE_REF
        resources:
          limits:
            cpu: CPU_LIMIT
            memory: MEMORY_LIMIT
        ports:
        - containerPort: APP_PORT
          protocol: TCP
        env:
          - name: TZ
            value: Asia/Shanghai
          - name: ENV_TYPE
            value: ENV_TYPE_VALUE
          - name: POD_NAME
            value: POD_NAME_VALUE
          - name: BUILD_ID
            value: BUILD_ID_VALUE
        livenessProbe:
          httpGet:
            path: HTTP_PATH
            port: APP_PORT
            httpHeaders:
            - name: "Authorization"
              value: "HTTP_BASIC_AUTH"
        readinessProbe:
          httpGet:
            path: HTTP_PATH
            port: APP_PORT
            httpHeaders:
            - name: "Authorization"
              value: "HTTP_BASIC_AUTH"
        volumeMounts:
          # name must match the volume name below
          - name: app-log
            mountPath: /logs
            readOnly: false
      - name: logtail
        image: registry-vpc.cn-shanghai.aliyuncs.com/jfdevops/ilogtail:0.12.7
        env:
          - name: TZ
            value: Asia/Shanghai
          - name: ENV_TYPE
            value: ENV_TYPE_VALUE
          - name: POD_NAME
            value: POD_NAME_VALUE
        volumeMounts:
          - name: app-log
            mountPath: /logs/APP_NAME/ENV_TYPE_VALUE
      volumes:
      - name: app-log
        emptyDir:
          medium: ""

最终显示效果如图：

可以使用__tag__:__path__: /logs/APP_NAME/ENV_TYPE_VALUE/*搜索ENV_TYPE_VALUE下的应用APP_NAME的日志。

logtail性能情况

在上述模式下，每个pod都会起一个logtail的容器，其是否为影响其它服务的性能呢？
在目前的量能情况下，一台4C16G的服务器logtail只占20M，0.02个CPU，几乎没有影响，即使再上升10倍也是可以接受的。