机器内存故障恢复后引起的乌龙

前几日某一台机器内存故障引起机器宕机,1天后重新恢复,发现同步的副本少啦4G的数据文件,便开始怀疑副本恢复不正常

-查看日志目录大小
LEADER 20G NTC-COLLECT-HTTP-LOG-11
Replica 16G NTC-COLLECT-HTTP-LOG-11
相差4G,查看IO,也就是2M~3M的流量,并且ISR并没有恢复的broker id
-查看日志文件

 -rw-rw-r-- 1  1073737818 Dec 25  2018 00000000000537777497.log

今天是2018-12-24,怎么会有25的日志?

  • 查看系统时间
Mon Dec 24 20:32:53 +06 2018

是当前日期

  • 查看启动日志
[root@aaaa logs]$ find . | xargs grep "12-25"
grep: .: Is a directory
./server.log.2018-12-24-18:[2018-12-25 02:38:50,521] ERROR [ReplicaFetcherThread-0-74], Error for partition [topic1,4] to broker 74:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)

竟然有25的日志,查看那最新的日志是24号

  • 时间同步
    系统同步时间,10分钟调度一次,kafka 启动也是随机自启,难道是kafka启动的时候是时区不正确?
  • 重新启动 kafka
    查看日志文件,的确是当前时间,但是还是相差4G的文件块
  • 查看副本是否加入ISR
    可看到已加入
  • 两天过期时间导致日志文件删除

你可能感兴趣的:(机器内存故障恢复后引起的乌龙)