kafka入门之环境搭建及监控

目录

1.准备工作

1.1安装环境

1.2准备工具

2.安装步骤

2.1 解压Kafka

2.2 修改配置文件server.properties

2.3启动脚本

2.4停止脚本

2.5脚本赋权

3.可视化管理

3.1安装kafka-manager

3.2解压

3.3修改配置文件

3.4启动服务

4.kafka-manager使用

4.1用命令行模拟生产者与消费者

4.2 示例

---

1.准备工作

1.1安装环境

本文所安装的kafka为kafka_2.11-2.4.1，Linux系统版本为CentOS 7.3,使用Zookeeper是Kafka自带的，安装目录是/usr/local/kafka

1.2准备工具

（1）Java

kafka是依赖Java环境运行，所以需要提前安装Java环境，本文安装的是JDK8，此篇不详细介绍，如有问题请自行百度。

（2）Kafka

下载kafkahttps://downloads.apache.org/kafka/2.4.1/kafka_2.11-2.4.1.tgz 

2.安装步骤

2.1 解压Kafka

tar -zxvf kafka_2.11-2.4.1.tgz

2.2 修改配置文件server.properties

cd /usr/local/kafka/config/
vi server.properties 

修改内容：

broker.id=0
port=9092 #端口号
host.name=192.168.110.125 #服务器IP地址，修改为自己的服务器IP
log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

2.3启动脚本

vi kafkastart.sh

#start zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3
#start kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

2.4停止脚本

vi kafkastop.sh

#stop zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3
#stop kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

2.5脚本赋权

chmod 777 kafkastart.sh
chmod 777 kafkastop.sh

3.可视化管理

kafka监控工具有kafka-manager,kafka-monitor,Kafka Web Conslole,JmxTool,本文介绍kafka-manager的使用

3.1安装kafka-manager

本文使用的版本是kafka-manager-2.0.0.2，从官网下载的文件在编译过程中可能会因为网速问题失败，建议直接从网盘中下载。

链接：https://pan.baidu.com/s/1mflOe-pUuVgNq6etixCACw 
提取码：i3dn 

3.2解压

unzip kafka-manager-2.0.0.2

3.3修改配置文件

cd /usr/local/kafka-manager-2.0.0.2/conf/
vi application.conf 

修改内容

kafka-manager.zkhosts="192.168.110.125:2181"#zookeeper的地址

3.4启动服务

./bin/kafka-manager

默认端口是9000，访问http://192.168.110.125:9000可以看到kafka-manager界面

4.kafka-manager使用

详见https://www.jianshu.com/p/6a592d558812

4.1用命令行模拟生产者与消费者

 cd /usr/local/kafka

创建topic ，其中consumer1是topic名称

bin/kafka-topics.sh --create --topic consumer1 --bootstrap-server 192.168.110.125:9092

生产消息，回车后输入消息即可，Ctrl+C结束

bin/kafka-console-producer.sh --topic consumer1 --broker-list 192.168.110.25:9092

消费消息，Ctrl+C结束

bin/kafka-console-consumer.sh --topic consumer1 --from-beginning --bootstrap-server 192.168.110.125:9092

4.2 示例

Consumers consuming from this topic表示了从该生产队列消费数据的队列有哪些，目前是只有test消费队列，如果想看到消费队列中的消费者，必须在consumer中设置group_id,否则manager监测不到

以Java为例，需要在application.yml中添加以下内容：

spring:
    kafka:
      consumer:
          bootstrap-servers: 192.168.110.125:9092
          key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          #消费者名称
          group-id: test
      producer:
          bootstrap-servers: 192.168.110.125:9092
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer

参考l链接：

https://blog.csdn.net/qq_33257527/article/details/85227478

https://www.cnblogs.com/toutou/p/kafkamanager.html

https://blog.csdn.net/jm88621/article/details/100736645