kafka日志回收的详解及使用

 

 分析记录一次线上问题

发现磁盘使用率极速飙升，接近100%。程序存在异常退出现象。

现象

• 磁盘使用率告警 磁盘基本占满，上有持续写入
• Kafka/Zk服务挂掉。

Topic的清理策略

cleanup.policy: delete

kafka log的清理策略有两种：delete,compact, 默认是delete

DUMP文件

kafka-topics --bootstrap-server broker:9092 --topic topicname --describe

Topic:xxx  PartitionCount:3        ReplicationFactor:3     Configs:min.insync.replicas=1,segment.bytes=1073741824,retention.ms=14400000,max.message.bytes=10485760,min.cleanable.dirty.ratio=0.5,unclean.leader.election.enable=false,retention.bytes=-1,delete.retention.ms=604800000

三分区，三副本，保留4小时，初步定位到是由于上有大量写入。

更改保留时间

修复方式见下文：

kafka-topics --bootstrap-server broker:9092 --topic topicname --config retention.ms=3600000 

问题分析

概述

log.retention.check.interval.ms  = 300000 【5min】
kafka时间戳的作用

基于时间戳的日志切分策略
基于时间戳的日志清除策略
根据时间戳来定位消息：之前的索引文件是根据offset信息的，从逻辑语义上并不方便使用，引入了时间戳之后，Kafka支持根据时间戳来查找定位消息

kafka 参数

message.timestamp.type: 定义消息中的时间戳是消息创建时间还是日志附加时间。

值应该是“CreateTime”或“LogAppendTime”, 默认为：CreateTime

• LogAppendTime

        为 ingestion-time 不可以自定义指定时间，系统自动生成当前producer时间

• CreateTime event-time

        可以自定义自定timestamp，如果不指定则默认为系统自动生成当前producer时间，即LogAppendTime时间

因为上游数据大幅写入。数据回滚操作频繁导致磁盘使用率超高，先停止上有写入kafka程序，再修改释放相关磁盘资源。启用zk服务，启用kafka服务，启用上游写入Kafka程序即可。因为存在多副本。可以进行部分分区数据删除操作。

参考：

kafka时间戳的详解及使用

Kafka日志清理策略，compact和delete

Kafka中数据清理、日志压缩、日志删除、保留策略