Kafka 操作日志清理脚本

Kafka日志参数针对的是消息日志，而操作日志没有相关自动清理，所以需要自己写，如下：

#!/usr/bin/env bash
#  @author  Yakir.King
#  @date  2020/8/3 20:14
# 

# 清除多余日志
# 清除规则
## 1、保留个数，kafka默认按照小时保存日志，每小时保存一个，约定保留文件个数，默认72个
## 2、保留时间，默认保存72小时
## 3、保存大小，为避免服务出问题导致频繁刷日志，将 磁盘撑满，每个文件保留大小均不可超过1G，超过1G的文件将被清理。
###   3.1 为保留出问题的现场，所以需要保留第一个超过1G的文件。

# 保留文件个数，默认72
RETAIN_FILES_NUM=72

# 保留文件时间，默认72小时，单位：小时
RETAIN_FILES_TIME=72

# 保存文件大小，默认1G，单位：M
RETAIN_FILE_MB=1024

# 日志保存目录
LOG_DIR=/export/kafka/logs

# 保留个数方法，由于日志按照小时保存，所以使用保留时间方法即可。
function retain_files_num() {
	echo ""
 }
# 保留时间方法
# 传入参数为日志文件前缀，如server.log.2020-08-01-11 传入参数为server
function retain_files_date(){
    for file_name in $* ; do
        FILE_NAME=${file_name}
        # 确认给定时间之前的时间
        DELETE_DATE=`date +%Y-%m-%d-%H -d "${RETAIN_FILES_TIME} hours ago"`
        # 获取所有日志，将日志的时间戳获取
        # 遍历所有日志文件，截取日志文件的时间戳部分，与delete_date对比，小于等于这个时间的，删除。
        for log_file in `ls -1 ${LOG_DIR}/${FILE_NAME}.log.20*`;do
            LOG_FILE_DATE=`ls -1 ${log_file} | awk -F . '{print $(NF)}'`
            if [[ ${LOG_FILE_DATE} < ${DELETE_DATE} ]]; then
                echo "当前日志文件：${log_file}, 保存时间已超过${RETAIN_FILES_TIME}个小时，删除中……"
                rm -f ${LOG_DIR}/${log_file}
            fi
        done
	done
}

# 保存大小方法
# 传入参数为日志文件前缀，如server.log.2020-08-01-11 传入参数为server
function retain_files_size(){
    for file_name in $* ; do
        FILE_NAME=${file_name}
        # 判断出文件大小
        # 判断超过1G的文件个数，超过两个删除新文件（保留旧的文件，事件现场）。
        BIG_FILE_NUM=`ls -lh ${LOG_DIR}/${FILE_NAME}.log.20* | grep -v total | grep G | wc -l `
        if [[ ${BIG_FILE_NUM} > 1 ]];then
            flag=1
            for log_file in `ls -lh ${LOG_DIR}/${FILE_NAME}.log.20* | grep -v total | grep G | awk '{print $(NF)}'` ;do
                if [[ ${flag} -gt 1 ]] ;then
                    echo "当前日志文件：${log_file}, 大小已超过${RETAIN_FILE_MB}M，删除中……"
                    rm -f ${LOG_DIR}/${log_file}
                fi
                ((flag++))
            done
        fi
        if [[ ${BIG_FILE_NUM} == 1 ]];then
            echo "剩余1个超过${RETAIN_FILE_MB}M的文件，请检查文件过大内容，如有问题解决问题后清除。"
        fi
        echo "${LOG_DIR}/${FILE_NAME}.log的保留文件大小正常"
    done
}
# 执行保留时间方法
retain_files_date server controller kafka-authorizer kafka-request log-cleaner state-change
# 执行保留大小方法
retain_files_size server controller kafka-authorizer kafka-request log-cleaner state-change

配置完成后，需要添加crontab

每小时执行一次即可（原因：曾经发生过每小时生成45G错误日志，监控告警到处理时日志已经增长到磁盘的93%）。

1 * * * * /bin/bash ${script_home}/oplogs_cleaner.sh >> oplogs_cleaner.log 2>&1