自动清理 ES 历史数据

目录

一、 背景

二、解决方案

三、实现操作

三、合并定时任务的例子

---

一、 背景

        随着业务的增长和时间的变化，ES 数据库的存储空间越来越大，存储数据多数为系统监控日志，保存的数据不需要长期保留，多数情况只需要保留几个月ES数据即可，既可以减轻ES服务器的负载和资源使用率，还可以节约更多的存储空间。

二、解决方案

      由于我的环境是k8s集群，ES 主要是为k8s集群内部应用服务，没有映射外部访问端口，所以不能直接使用Linux自带的crontab定时ES数据清理脚本。需要创建一个容器定时任务来定时清理ES历史数据。

        k8s定时任务，会根据你设置的时间，定时启动pod实例来执行任务，pod完成执行任务后，pod的状态会由 running 状态变成 Completed 状态。查看定时任务脚本执行日志，可通过查看pod日志实现。

       创建两个定时任务，一个定时任务在删除ES索引前执行，用于核对和审计定时任务删除的索引；另一个是关键的定时任务，用于删除ES历史数据。第一个定时任务可以根据实际情况选择性决定是否要创建。（当然你也可以直接把两个任务合并到一起，将两句curl命令完整内容作为command的参数，两句curl要使用分号 或者 && 连接）

三、实现操作

1、获取ES索引信息 

        获取ES索引定时任务编排文件:  elastic-get-indeices.yaml

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  annotations: 
    description: "先获取一次索引信息，然后再删除索引；以便核对每次删除的索引"
  labels:
    app: elastic-get-indeices
  name: elastic-get-indeices
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 5
  schedule: "0 0 * * *"
  jobTemplate:
    metadata:
      labels:
        app: elastic-get-indeices
    spec:
      activeDeadlineSeconds: 360
      backoffLimit: 3
      completions: 1
      parallelism: 1
      template:
        metadata:
          annotations:
            kubesphere.io/imagepullsecrets: '{}'
        spec:
          containers:
          - command:
            - /bin/sh
            - -c
            - curl -XGET -u ${esuser}:${espass} ${esurl}/_cat/indices | sort -k 3
            env:
            - name: esuser
              value: "elastic"  # ES 用户，使用默认用户即可
            - name: espass
              value: "ES密码"    # 替换成 ES 真实的 密码
            - name: esurl
              value: "http://eshost:9200"  # 替换成 ES 真实 url 地址

            image: centos:7.9.2009  ## 使用任何一个带有 curl 命令的基础镜像都可以
            imagePullPolicy: IfNotPresent
            name: conjob
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /etc/localtime
              name: host-time
              readOnly: true
          dnsPolicy: ClusterFirst
          restartPolicy: Never
          schedulerName: default-scheduler
          securityContext: {}
          serviceAccount: default
          serviceAccountName: default
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /etc/localtime
              type: ""
            name: host-time
  startingDeadlineSeconds: 30
  successfulJobsHistoryLimit: 5
  suspend: false

创建获取ES索引信息的定时任务：

# 创建 获取 ES 索引 信息定时任务
kubectl apply -f elastic-get-indeices.yaml

 2、删除 ES 30天之前的历史数据

        删除ES历史数据编排文件： elastic-delete-data.yaml

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  annotations: 
    description: "定时删除 ES 历史数据;保留30天的历史数据"
  labels:
    app: elastic-delete-data
  name: elastic-delete-data
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 5
  schedule: "0 1 * * *"    # 每天凌晨 1 点 自动动清理 ES 30天前的历史数据
  jobTemplate:
    metadata:
      labels:
        app: elastic-delete-data
    spec:
      activeDeadlineSeconds: 360
      backoffLimit: 3
      completions: 1
      parallelism: 1
      template:
        metadata:
          annotations:
            kubesphere.io/imagepullsecrets: '{}'
        spec:
          containers:
          - command:
            - /bin/sh
            - -c
            - curl -XDELETE -u ${esuser}:${espass} ${esurl}/*$(date +%Y%m%d -d "30 days ago")*
            env:
            - name: esuser
              value: "elastic"  # ES 用户，使用默认用户即可
            - name: espass
              value: "ES密码"    # 替换成 ES 真实的 密码
            - name: esurl
              value: "http://eshost:9200"  # 替换成 ES 真实 url 地址

            image: centos:7.9.2009  # 使用任何一个带有 curl 命令的基础镜像都可以
            imagePullPolicy: IfNotPresent
            name: conjob
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /etc/localtime
              name: host-time
              readOnly: true
          dnsPolicy: ClusterFirst
          restartPolicy: Never
          schedulerName: default-scheduler
          securityContext: {}
          serviceAccount: default
          serviceAccountName: default
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /etc/localtime
              type: ""
            name: host-time
  startingDeadlineSeconds: 30
  successfulJobsHistoryLimit: 5
  suspend: false

# 创建 定时删除 ES 历史数据任务
 kubectl apply -f elastic-delete-data.yaml

3、查看创建好的定时任务

# 注意命名空间，若不是当前默认命名空间 记得 指定命名空间
kubectl get cronjobs.batch

 4、已成功完成的定时任务

 5、通过删除前和删除后的索引情况来核对删除了那些索引

说明： 

        curl -X DELETE 删除ES索引是没有详细日志的，所以需要在删除前执行 curl -X GET 获取删除前索引信息，一旦出现异常就可以更好判断当次定时任务实际删除了那些内容，实际上是否成功按照保留天数执行了。

三、合并定时任务的例子

        1、一个定时任务执行多条命令，在删除ES历史数据前后分别获取一次ES索引情况；

        2、高级用法关键要点是：环境变量的互相依赖和引用，一定要注意环境变量的顺序和写法

        3、对于初学者，其实我更推荐第一种写法，简单明了，看着舒服，不易出错

        4、获取ES索引写法：curl -X GET -u ES用户:ES密码 http://127.0.0.1:9200/_cat/indices

        5、删除ES 索引参考:  curl -X DELETE -u ES用户:ES密码 http://127.0.0.1:9200/索引名字

         6、环境变量相互依赖和引用使用，可以参考官方文档：https://kubernetes.io/zh-cn/docs/tasks/inject-data-application/define-interdependent-environment-variables/https://kubernetes.io/zh-cn/docs/tasks/inject-data-application/define-interdependent-environment-variables/

---
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  annotations: 
    description: "分别输出删除ES历史索引操作前后的索引情况，以及完成删除历史数据操作"
  labels:
    app: delete-elastc-data
  name: delete-elastc-data
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 5
  schedule: "0 1 * * *"
  jobTemplate:
    metadata:
      labels:
        app: delete-elastc-data
    spec:
      activeDeadlineSeconds: 360
      backoffLimit: 3
      completions: 1
      parallelism: 1
      template:
        metadata:
          annotations:
            kubesphere.io/imagepullsecrets: '{}'
        spec:
          containers:
          - command:
            - /bin/sh
            - -c
            - $getes;echo "开始删除史数据:";$deles/*$(date +%Y%m%d -d "30 days ago")*;echo "删除后数据为:";$getes
            env:
            - name: esauth
              value: "elastic:你的ES密码"
            - name: esurl
              value: "http://bk-elastic-elasticsearch-master.blueking:9200"
            - name: getes
              value: "curl -XGET -u $(esauth) $(esurl)/_cat/indices | sort -k 3"
            - name: deles
              value: "curl -XDELETE -u $(esauth) $(esurl)"

            image: centos:7.9.2009
            imagePullPolicy: IfNotPresent
            name: conjob
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /etc/localtime
              name: host-time
              readOnly: true
          dnsPolicy: ClusterFirst
          restartPolicy: Never
          schedulerName: default-scheduler
          securityContext: {}
          serviceAccount: default
          serviceAccountName: default
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /etc/localtime
              type: ""
            name: host-time
  startingDeadlineSeconds: 30
  successfulJobsHistoryLimit: 5
  suspend: false
---