Kakfa Windows 环境搭建

一.下载

http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

二.解压下载的包

注意:
解压目录不能包含空格 例：‘D:\Program Files (x86)\kafka_2.12-2.4.1’ 该路径包含空格不符合要求
Jdk所在的目录路径也不能包含空格,如果Jdk路径包含空格，需要修改server.properties 179行
将 %CLASSPATH% 添加双引号 ，改为 "%CLASSPATH%"

三.启动

以下的命令都用cmd 进入 kafka解压目录下执行

1.启动zookeeper

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

2.启动kafka

bin\windows\kafka-server-start.bat config\server.properties

四.常用命令

1.创建 topic

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic 

- - replication-factor :用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。
- - partitions ：kafka通过分区策略，将不同的分区分配在一个集群中的broker上，消息会通过负载均衡发布到不同的分区上。
- - topic:指定主题名

2.查看所有topic

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

3.查看某个Topic详细信息

bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic 

4.创建生产者

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic 

5.创建可以指定key的生产者

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic  --property parse.key=true --property key.separator=:

"- - property key.separator=:"指定key和value的分割符，如指定的分割符为‘：’，则生产者输入的message应该为 key:value 的格式。

6.创建消费者

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic users --from-beginning

–from-beginning :从最开始的消息进行消费，如果不加该参数，则之前生产的消息不会被消费

7.压力测试

bin\windows\kafka-producer-perf-test.bat --topic  --num-records 1000000 --payload-file data.txt --throughput -1 --producer-props acks=1 bootstrap.servers=127.0.0.1:9092 buffer.memory=67108864 batch.size=8196 --property parse.key=true --property key.separator=:

–num-records ：指定发送数量
–payload-file：指定从哪个文件里读取message进行发送，发送时是随机的抽取文件夹中的message.