搭建kafka集群

下载最新版本的kafka

http://kafka.apache.org/downloads.html

解压：kafka_2.12-2.3.0.tgz

tar zxvf kafka_2.12-2.3.0.tgz

在config 下找到 server.properties vi 编辑

1、修改broker.id
注意：三个节点不能重复
2、listeners：该几点ip+端口
3、log.dirs
4、zookeeper.connect:zookeeper集群的节点，逗号隔开

分别启动zk集群和kafka集群

这里只写kafka

./bin/kafka-server-start.sh config/server.properties &

创建topic的时候 设置kafka集群节点个数的复制因子 这样在程序中调用写入的时候才会复制到各个节点。
不然默认是随机节点
replication-factor 副本数量

./bin/kafka-topics.sh --create --bootstrap-server xx:9092 --replication-factor 3 --partitions 3 --topic my-topic

查看创建的topic分布的partitions ，leader，isr 等

./bin/kafka-topics.sh --describe --bootstrap-server xxx:9092 --topic my-topic

查看该topic下的内容

./bin/kafka-console-consumer.sh --bootstrap-server xxx:9092  --topic my-topic --from-beginning