Kafka快速入门四：Kafka监控

1. kafka监控

使用插件对Kakfa进行监控，以可视化的形式监控Kafka集群。

较常见的有Kafka Monitor和Kafka Manager。

其中Kafka Monitor使用简单，但功能很弱。

使用较多的是Kafka Manager。

1.1 Kafka Monitor

Kafka Monitor的使用步骤如下所示：

①上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群；

②在/opt/module/下创建kafka-offset-console文件夹；

③将上传的jar包放入刚创建的目录下；

④在/opt/module/kafka-offset-console目录下创建启动脚本start.sh，内容如下：

#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers hadoop102:9092,hadoop103:9092,hadoop104:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk hadoop102:2181,hadoop103:2181,hadoop104:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &

⑤在/opt/module/kafka-offset-console目录下创建mobile-logs文件夹

mkdir /opt/module/kafka-offset-console/mobile-logs

⑥启动KafkaMonitor

./start.sh

⑦登录页面hadoop102:8086端口查看详情

1.2 Kafka Manager

Kafka Manager的使用步骤如下：

①上传压缩包kafka-manager-1.3.3.15.zip到集群；

②解压到/opt/module

unzip kafka-manager-1.3.3.15.zip –d /opt/module/

③修改配置文件conf/application.conf

kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
修改为：
kafka-manager.zkhosts="hadoop102:2181,hadoop103:2181,hadoop104:2181"

④启动kafka-manager

bin/kafka-manager

⑤登录hadoop102:9000页面查看详细信息。

注意点：

①启动Kafka时，同时开启jmx，指定jmx的端口，这样Kafka Manager就可以使用jmx提供的信息。

②重要关注分区以及分区leader在broker上分布是否均匀，可以使用Preferred replica election和Reassign Partitions实现重新分配。

③重点关注Kafka消费延迟参数：消费者的Lag=生产者生产的消息数（logsize）-消费者消费的offset（consumer_offset）。