Docker容器安装单机Kafka

Docker容器刚开始使用,仅仅只了解一些简单命令和原理.很多东西也是从东拼西凑的.主要是记录下怎么走出坑的.

1.搜索镜像,包括kafka,zookeeper,还有kafka管理工具

docker search kafka

docker search zookeeper

docker search kafka-manager

2.拉取镜像(根据排名选择第一个,虽然不知道为啥,排在第一不是没有道理的)

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

docker pull sheepkiller/kafka-manager

3.启动容器

3.1启动kafka

docker run --name kafka \

-p 9092:9092 \

-e KAFKA_ADVERTISED_HOST_NAME=kafka01 \

-e KAFKA_CREATE_TOPICS="test:1:1" \

-e KAFKA_ZOOKEEPER_CONNECT=服务器IP:zookeeper端口 \

-d wurstmeister/kafka

3.2启动zookeeper

docker run --name zookeeper \

--restart always \

-p 2181:2181 \

-d wurstmeister/zookeeper

3.3启动kafka管理工具

docker run -itd \

--restart=always \

--name=kafka-manager \

-p 9000:9000 \

-e ZK_HOSTS="服务器IP:zookeeper端口" \

sheepkiller/kafka-manager

4.看到容器启动成功,是不是以为大功告成了,你还是太年轻了,测试下先

docker exec -it kafka容器ID /bin/bash

进入容器

4.1 创建一个topic

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 服务器IP:zookeeper端口 --replication-factor 1 --partitions 1 --topic my-test

4.2 查看topic列表

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 服务器IP:zookeeper端口

4.3发送消息

/opt/kafka/bin/kafka-console-producer.sh --broker-list 服务器IP:kafka端口 --topic my-test

4.4接收消息

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 服务器IP:kafka端口 --topic my-test --from-beginning

这是发送消息的时候的错误信息(做了这么久软件设计师这点小错误算啥,屁巅屁蛋去百度...什么百度,现在学会升级了,google一下)

一顿操作之后,迷迷糊糊的似乎发现了什么.关键是service.properties的配置问题,然后各种尝试修改配置

listeners=PLAINTEXT://:9092解开注释改成 listeners=PLAINTEXT://localhost:9092

然后再尝试发送消息:

ERROR Error when sending message to topic my-topic with key: null, value: 9 bytes with error: Batch Expired (org.apache.kafka.clients.

producer.internals.ErrorLoggingCallback)

错误变成了上面这种,继续google

把localhost换成ip

换成容器的hostname

尝试了一天无果,从入门到放弃这个梗告诉我们不要在一颗树上吊死

还有一棵树没试过 docker-compose

1.拉取镜像步骤同上

2.创建一个文件夹,并编写docker-compose.yml文件

version: '3'

services:

zookeeper:

image: wurstmeister/zookeeper

ports:

- "2181:2181"

kafka:

image: wurstmeister/kafka

depends_on: [ zookeeper ]

ports:

- "9092:9092"

environment:

KAFKA_ADVERTISED_HOST_NAME: 你的服务器IP

KAFKA_CREATE_TOPICS: "test:1:1"

KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181

volumes:

- /var/run/docker.sock:/var/run/docker.sock