Windows下使用Docker搭建Kafka
Windows下使用Docker搭建Kafka
一，下载
首先，先启动本地的Docker服务，然后获取合适版本的zookeeper（我这里默认是最新）
docker pull wurstmeister/zookeeper
再到docker仓库获取合适版本的kafka
docker pull wurstmeister/kafka
二，搭建
启动zookeeper服务
docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper
启动kafka，[local-ip]为自己主机IP，切记不可使用localhost来代替【本人使用localhost后，启动容器后失败退出】
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=[local-ip]:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://[local-ip]:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
三，测试
首先，进入容器内部
docker exec -it kafka /bin/bash
再运行kafka生产者来发布消息，当前窗口称为【窗口A】
/opt/kafka_2.13-2.7.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
再重新开启一个窗口【窗口B】，运行kafka消费者，接受消息
/opt/kafka_2.13-2.7.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
在生产者窗口A中，我们可以注意到生产者前面出现“>”符号，在后面位置输入内容然后按下回车，就可以到消费者窗口B中看到内容。这意味着简单的kafka结合zookeeper消息生产与消费就完成了
四，基本命令
docker下kafka的配置文件和脚本文件都在：/opt/kafka_x.xx
4.1 启动kafka
# 指定对应的配置文件启动
kafka-server-start.sh $KAFKA_PATH/config/server.properties
# -daemon 以后台的方式启动
kafka-server-start.sh -daemon $KAFKA_PATH/config/server.properties
# 指定JMX port端口启动，指定jmx，可以方便监控kafka集群
JMX_PORT=9991 kafka-server-start.sh -daemon $KAFKA_PATH/config/server.properties
4.2 停止kafka
kafka-server-stop.sh
或
kill -9 pid # pid 进程号
4.3 topic
查看当前服务器中所有的topic
# zhost为zookeeper服务器IP或dns映射域名，zport为端口
kafka-topics.sh --list --zookeeper host:port
创建topic
# --replication-factor: 必须参数，用来设置主题的副本数，每个主题可以有多个副本，副本位于集群中不同broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败
# --partitions: 必须参数，主题分区数
kafka-topics.sh --create --zookeeper zhost:zport --replication-factor 1 --partitions 1 --topic test
删除topic
kafka-topics.sh --delete --zookeeper zhost:zport --topic test
# 或
kafka-topics.sh --delete --bootstrap-server khost:kport --topic test
查看topic详情
kafka-topics.sh --topic test --describe --zookeeper zhost:zport
# 或
kafka-topics.sh --topic test --describe --bootstrap-server khost:kport
修改topic的分区数
kafka-topic.sh --zookeeper zhost --alter --partitions 2 --topic test
# 或
kafka-topic.sh --bootstrap-server khost --alter --partitions 2 --topic test
4.4 生产者
kafka自带了一个在终端演示生产者发布消息的脚本 --kafka-console-producer.sh
运行该脚本会启动一个进程，在运行该脚本时可以传递相应配置以覆盖默认配置。
参数
- –producer.config，用于加载一个生产者级别相关的配置文件
- –producer-property 直接在启动命令中设置参数，覆盖默认配置的参数
- –property 通过该命令可以设置消费者相关的配置
- –broker-list 指定kafka的代理地址列表（必传）
- –topic 消息被发送的目标主题（必传）
# 启动生产者,通过shell命令发送消息
# khost: kafka服务器,kport:端口
# --broker-list: 指的是kafka的服务端，可以是一个服务器也可以是集群
kafka-console-producer.sh --broker-list khost:kport --topic test
4.5 消费者
kafka自带了一个在终端演示消费者消费消息的脚本 --kafka-console-consumer.sh
# --from-beginning 查看这个topic所有数据
# --bootstrap-server: 指的是目标集群的服务器地址
kafka-console-consumer.sh --bootstrap-server khost:kport --from-beginning --topic test