CDH6.3.2平台kafka问题记录

 最近在弄kafka数据同步,总是出问题,所以重装了好几次kafka

1.第一次直接CDH平台删除后重新部署kafka,结果启动失败。

清理/var/local/kafka/data文件夹下meta.properties文件就可以起来了,这个问题的原理是kafka启动时会对比meta.properties里和log.dirs文件夹里的server.properties里面的broke.id,每次重装server.properties会随机生成,meta.properties里面的还跟上一次一样,所以就启动不起来。

附加,另外/var/local/kafka/data,data目录保存kafka的全部数据,如果这些数据没用的话,可以把这个文件夹删掉,每次启动都会自动生成

2、然后启动了之后又遇到一个问题,我的CDH平台开了kerberos,所以又按照当时的配置文档重新设置了一下,可以参考一下这个文章,https://blog.csdn.net/shenyuye/article/details/107312806

然后再一次启动失败,把security.inter.broker.protocol改回原来的配置就又能重新启动。

解决办法:在kafka的配置界面手动勾选Enable Kerberos Authentication,猜测教程上都是统一先装平台再装kerberos,在平台启用kerberos的时候,这个选项自动被启用了,重装后原来的设置都没了,所以出现了这个问题。

CDH6.3.2平台kafka问题记录_第1张图片

你可能感兴趣的:(kafka,分布式)