K8S- Traefik日志收集到阿里云日志服务

image

安装traefik

可以直接使用helm安装，参考：K8S-Traefik Ingress实战

打开traefik日志功能

默认在helm安装的value文件添加如下内容

accessLogs:
  enabled: true
  format: common
  fields:
    defaultMode: keep
    headers:
      defaultMode: keep

如果已经安装好traefik服务，需要修改config配置，在traefik.toml中添加，日志主要通过field来控制，可以是keep、drop、redact三种，如下

accessLog:
  filePath: "/path/to/access.log"
  format: json
  fields:
    defaultMode: keep
    names:
      ClientUsername: drop
    headers:
      defaultMode: keep
      names:
          User-Agent: redact
          Authorization: drop
          Content-Type: keep

可以看到日志已经输出到stdout之中

image

日志显示客户端源IP

在使用LoadBalancer部署的traefik的时候，traefik的accessLog如果需要显示源IP地址，要在service的配置中将spec.externalTrafficPolicy的参数设置为Local。

spec:
  ports:
    - name: http
      protocol: TCP
      port: 80
      targetPort: http
      nodePort: 30593
    - name: https
      protocol: TCP
      port: 443
      targetPort: 443
      nodePort: 31720
    - name: metrics
      protocol: TCP
      port: 8080
      targetPort: dash
      nodePort: 31838
  selector:
    app: traefik
    release: traefik-internal
  clusterIP: 172.21.11.254
  type: LoadBalancer
  externalTrafficPolicy: Local
  healthCheckNodePort: 30228

可以发现remote_IP_address已经是真实访问地址了

image

日志收集到阿里云

阿里云日志针对Kubernetes容器服务使用CRD方式进行采集配置管理，该方式与Kubernetes部署、发布流程的集成更加完善。

阿里云文档

image

1. 安装alibaba-log-controller，如果是阿里云容器集群，默认是安装的。

wget http://logtail-release-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/kubernetes/alicloud-log-k8s-custom-install.sh; 

chmod 744 ./alicloud-log-k8s-custom-install.sh; 

#### vim alicloud-log-k8s-custom-install.sh

sh ./alicloud-log-k8s-custom-install.sh {your-project-suffix} {region-id} {aliuid} {access-key-id} {access-key-secret}

可以修改脚本，设置project、namespace、affinity等信息，你也可以直接使用默认的配置直接安装；

sudo sh alicloud-log-k8s-custom-install.sh  k8s-traefik cn-hangzhou 1531908224215118 LTAI4FwpdpXYcJixr2hndpAW ELxe6tOGzHJfRFt7UiP2yJFgNPJWDq

2. 创建aliyunlogconfigs CRD,yaml如下

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: traefik-internal-log
spec:
  project: k8s-traefik
  logstore: traefik-internal
  logtailConfig:
    inputType: plugin
    configName: traefik-internal-log
    inputDetail:
      plugin:
        inputs:
          -
            type: service_docker_stdout
            detail:
              # 只采集stdout，不采集stderr
              Stdout: true
              Stderr: false
              # 只采集容器环境变量中配置key为"GF_INSTALL_PLUGINS"的stdout
              IncludeLabel:
                io.kubernetes.container.name: traefik-internal
        processors:
          -
            # 使用正则表达式处理
            type: processor_regex
            detail:
              # docker 采集的数据默认key为"content"
              SourceKey: content
              # 正则表达式提取
              Regex: '((?:(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))).){3}(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))))'
              # 提取出的key
              Keys: ['remote_IP_address']
              # 保留原始字段
              KeepSource: true
              NoKeyError: true
              NoMatchError: true

以上配置是从匹配到的容器stdout收集的日志，也可以使用正则对内容进行处理，如上面的remote_IP_address。

效果如下：

image

本文是收集的traefik日志，其他容器和应用的日志通过此方法一样可以收集到阿里云服务，比自己维护EFK更加的方便和稳定。