dcoker安装kafka

1 kafka介绍
Kafka诞生在LinkedIn，后来于2011年成为开源Apache项目，Kafka是用Scala和Java实现的。 它是基于发布订阅的容错消息系统。 特点是快速，可扩展和分布式。
kafka属于一种消息中间件或者消息队列（MQ）

kafka需要zookeeper管理，所以需要先安装zookeeper

docker pull wurstmeister/zookeeper

#docker启动zookeeper
docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

#下载kafka
docker pull wurstmeister/kafka
#docker启动kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=0.0.0.0:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

注：
#在kafka集群中，每个kafka都有一个BROKER_ID来区分
-e KAFKA_BROKER_ID=0
#配置zookeeper管理kafka的路径ip/kafka
-e KAFKA_ZOOKEEPER_CONNECT=localhost/kafka
#把kafka的地址端口注册给zookeeper
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://0.0.0.0:9092
#配置kafka的监听端口
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
#容器时间同步虚拟机的时间
-v /etc/localtime:/etc/localtime

如果启动docker kafka报错OpenJDK 64-Bit Server VM warning failed; error=‘Out of memory’ 解决方案为执行如下命令

#创建swapfile
dd  if=/dev/zero  of=swapfile  bs=1024  count=500000

#将swapfile设置为swap空间
mkswap swapfile

#启用交换空间，类似于mount,（删除交换空间 swapoff swapfile）
swapon  swapfile

验证kafka是否可以使用

#进入kafka容器内
docker exec -it kafka /bin/bash
#进入kafka脚本目录
cd /opt/kafka_2.12-2.4.0/bin
#运行kafka生产者，新建topic test
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
#生产者发送消息
{"datas":[{"channel":"","metric":"temperature","producer":"hhh","sn":"1111","time":"12345678","value":"80"}],"ver":"1.0"}

#消息完成后运行kafka消费者接收topic 为test消息，如果有收到则安装成功
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test--from-beginning