Kafka+Zookeeper集群搭建及注意事项
Kafka集群的搭建
说明：只配置主要的配置，其他都是默认
- 基于最新版本kafka：kafka_2.12-2.3.0.tgz
- Zookeeper版本： zookeeper-3.4.10.tar.gz
- JDK(1.8+): jdk-8u152-linux-x64.tar.gz
| IP | HostName |
|---|---|
| 192.168.174.140 | Kafka-01 |
| 192.168.174.141 | Kafka-02 |
| 192.168.174.142 | Kafka-03 |
网上有一些博客，就是把Zookeeper和Kafka的默认配置也写出来，然后端口也写错等等，导致大家参考的时候，不小心直接拷贝这些配置到配置文件中候，同一个参数配置了两次，产生一些莫名的错误，我不信只有我一个人中枪，所以虽然网上这类博客很多，但是我还是打算写一篇
先创建两个日志文件夹：
Zookeeper的zoo.cfg基本就是这三行，主机名在/etc/hostname 文件中配置，完事要重启
server.1=Kafka-01:2888:3888
server.2=Kafka-02:2888:3888
server.3=Kafka-03:2888:3888
采用上面的方式，那么Zookeeper的配置文件是一模一样的
或者，两者任选一种
第一台机
server.1=0.0.0.0:2888:3888
server.2=Kafka-02:2888:3888
server.3=Kafka-03:2888:3888
第二台机
server.1=Kafka-01:2888:3888
server.2=0.0.0.0:2888:3888
server.3=Kafka-03:2888:3888
第三台机
server.1=Kafka-01:2888:3888
server.2=Kafka-02:2888:3888
server.3=0.0.0.0:2888:3888
然后有个myid文件三台机器，根据配置dataDir=/tmp/zookeeper
放在这个目录即可，里面的值分别1/2/3
然后是Kafka的配置，server.properties配置文件，主要配置如下：
第一台机器：
broker.id=0
listeners=PLAINTEXT://Kafka-01:9092
port=9092
advertised.listeners=PLAINTEXT://Kafka-01:9092
zookeeper.connect=Kafka-01:2181,Kafka-02:2181,Kafka-03:2181
第二台机器
broker.id=1
listeners=PLAINTEXT://Kafka-02:9092
port=9092
advertised.listeners=PLAINTEXT://Kafka-02:9092
zookeeper.connect=Kafka-01:2181,Kafka-02:2181,Kafka-03:2181
第三台机器
broker.id=2
listeners=PLAINTEXT://Kafka-03:9092
port=9092
advertised.listeners=PLAINTEXT://Kafka-03:9092
zookeeper.connect=Kafka-01:2181,Kafka-02:2181,Kafka-03:2181
先启动Zookeeper集群,三台分别启动：
./zkServer.sh start
然后启动Kafka集群,三台分别启动：
./kafka-server-start.sh
然后测试Kafka生产消费的，网上博客坑的是，端口写错，消费的时候应该是是用9092端口，却写的是Zookeeper的2181, 消息收不到，也不报错，这种情况，如果不好使，就去官网看例子
- 创建一个名为test的topic：以前的–zookeeper参数在比较新的版本中已经替换为了–bootstrap-server
bin/kafka-topics.sh --create --bootstrap-server Kafka-01:9092,Kafka-02:9092,Kafka-03:9092 --replication-factor 1 --partitions 1 --topic test
-
创建消费者
bin/kafka-console-producer.sh --broker-list Kafka-01:9092,Kafka-02:9092,Kafka-03:9092 --topic test -
创建消费者就是这里最坑，网上博客基本都写的2181端口
bin/kafka-console-consumer.sh --bootstrap-server Kafka-01:9092,Kafka-02:9092,Kafka-03:9092 --topic test --from-beginning注：如果在Linux上使用的是主机名，在Windows上使用Java代码的时候需要配置Windows 的hosts文件，否则Kafka工程启动会报错
按照上面的步骤基本没有问题，如果有问题请留言，相互学习，进步