Docker中搭建Kafka集群以及让外网访问
集群规划，3个容器，由最初的centos:latest镜像开始制作
| 主机名 | IP地址 |
|---|---|
| kafka-node1 | 172.19.0.71 |
| kafka-node2 | 172.19.0.72 |
| kafka-node3 | 172.19.0.73 |
| 宿主机（虚拟机centos6.5） | 10.20.0.128 |
172.19.0.0/16网段是docker内部使用的桥接网段，外网是无法直接访问的
安装和配置zookeeper
下载解压添加到环境变量即可，zoo.cfg配置如下
server.1=kafka-node1:2888:3888
server.2=kafka-node2:2888:3888
server.3=kafka-node3:2888:3888
注意配置的data目录下面的myid文件需要对应的id编号即可
安装和配置kafka
下载解压添加到环境变量，server.properties修改如下参数：
broker.id=1 //1,2,3因为配了3台
listeners=PLAINTEXT://kafka-node1:9092 //这个参数非常重要，想要外网访问docker内的集群，只能配置主机名，不能配置IP地址
zookeeper.connect=172.19.0.71:2181,172.19.0.72:2181,172.19.0.73:2181
broker.id=2
listeners=PLAINTEXT://kafka-node2:9093 //注意不要在用9092端口，最好和docker暴露出去的端口一致
zookeeper.connect=172.19.0.71:2181,172.19.0.72:2181,172.19.0.73:2181
broker.id=3
listeners=PLAINTEXT://kafka-node3:9094
zookeeper.connect=172.19.0.71:2181,172.19.0.72:2181,172.19.0.73:2181
其他具体细节的配置参照官网说明，作为测试，默认不会有什么影响
Docker容器创建语句
docker run -d --name kafka-node1 --ip 172.19.0.71 --net mariadb-net -p 9092:9092 -v /home/kafka-node1:/mnt -i -t cluster/hadoop:1.1-kafka /bin/bash
docker run -d --name kafka-node2 --ip 172.19.0.72 --net mariadb-net -p 9093:9093 -v /home/kafka-node2:/mnt -i -t cluster/hadoop:1.1-kafka /bin/bash
docker run -d --name kafka-node3 --ip 172.19.0.73 --net mariadb-net -p 9094:9094 -v /home/kafka-node3:/mnt -i -t cluster/hadoop:1.1-kafka /bin/bash
(把镜像换成centos:latest即可）
启动zookeeper
在3台机器上分别执行
zkServer.sh start
启动kafka集群
在3台机器上分别执行
kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties（修改成自己的地址）
本机测试
创建topic
kafka-topics.sh --create --zookeeper kafka-node1:2181 --replication-factor 1 --partitions 1 --topic test1
发送一些消息
kafka-console-producer.sh --broker-list kafka-node1:9092 --topic test1 //注意这里不能在用localhost
查看消息
kafka-console-consumer.sh --bootstrap-server kafka-node2:9092 --topic test1 --from-beginning
本机测试发现没有问题
Java客户端测试（其他机器，可以访问宿主机，但不能访问docker）
参照官网构建maven项目，代码如下：
public class DemoProducer {
public static void main(String[] args) {
long events = 10;
Random rnd = new Random();
Properties props = new Properties();
props.put("bootstrap.servers", "10.20.0.128:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
Producer<String, String> producer = new KafkaProducer<>(props);
for (long nEvents = 0; nEvents < events; nEvents++) {
long runtime = new Date().getTime();
String ip = "192.168.2." + rnd.nextInt(255);
String msg = runtime + ",www.example.com," + ip;
ProducerRecord<String, String> data = new ProducerRecord<String, String>("test1", msg);
producer.send(data);
System.out.println(nEvents);
}
producer.close();
}
}
发现一直卡在那里，最终以超时异常退出，或者报broker找不到的错误，跟进去之后发现，程序获得了cluster集群的信息，包括节点和分区等元信息，但是无法进一步访问，因为返回的信息是kafka-node1、kafka-node2和kafka-node3，这就是为什么在kafka的配置中不要配IP地址的原因，如果返回的是IP地址，那么肯定是无法访问的，现在返回的是主机名，很简单，在客户端的hosts文件中添加：
10.20.0.128 kafka-node1
10.20.0.128 kafka-node2
10.20.0.128 kafka-node3
把所有的主机名都映射到宿主机的IP，OK，问题解决