kafka是依赖于zookeeper的，先安装并启动zookeeper
安装zookeeper
- 下载zookeeper
- 解压，进入zookeeper的conf目录，复制zoo_sample.cfg将其命名为zoo.cfg
- 编辑zoo.cfg文件，把里面的数据保存目录dataDir改成自己的磁盘路径
- 进入bin目录，点击zkServer.cmd启动zookeeper
安装kafka
- 下载kafka
- 解压并进入kafka的config目录，修改server.properties中的log文件路径
- 启动kafka，进入kafka安装目录下的bin\windows目录下，在命令行窗口执行以下命令
.\bin\windows\kafka-server-start.bat .\config\server.properties
kafka与zookeeper的交互我们使用默认配置就行，默认就是连接的本机，端口也是默认的，localhost:2181。
创建主题
在kafka安装目录下，进行\bin\windows目录下，执行以下命令
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1
--partitions 1 --topic test
启动producer与consumer测试
在kafka安装目录下，进入\bin\windows目录下，执行以下命令
启动producer
kafka-console-producer.bat --broker-list localhost:9092 --topic test
启动consumer
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test
在producer运行窗口输入消息，在consumer收到输入的信息，则说明kafka已正常安装。
kafka常用命令
列出可用主题
kafka-topics.bat --list --zookeeper localhost:2181
查看主题详细信息
kafka-topics.bat --describe --zookeeper localhost:2181 --topic test
配置集群
上面只启了一个节点，下面配置多个节点，这里是在同一台机器上做的演示
- 将config目录下的server.properties复制两份，分别命名为server-1.properties，server-2.properties
- 分别编辑server-1.properties，server-2.properties配置文件，修改以下几个参数：broker.id、listeners、log.dirs，如下所示：
server-1.properties
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=D:/java/apache/kafka_2.11-2.0.0/config/kafka-logs-1
server-2.properties
broker.id=1
listeners=PLAINTEXT://:9094
log.dirs=D:/java/apache/kafka_2.11-2.0.0/config/kafka-logs-2
在同个集群中broker.id必需是唯一的，不能重复，如果是同一台机器运行多个节点，要把监听端口和日志文件路径修改成不一样的，以免数据被覆盖。
前面zookeeper和其中一个节点已经启动了，现在我们把剩余的两个节点也启动一下，只需要分别执行以下命令即可。
.\bin\windows\kafka-server-start.bat .\config\server-1.properties
.\bin\windows\kafka-server-start.bat .\config\server-2.properties
创建分区副本为三的主题
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
怎么知道集群中每个节点在做什么呢？可以使用“主题描述”命令查看，如下
kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic
运行结果如下，下面是对输出的解释。第一行给出了所有分区的摘要，下面的每一行给出了关于一个分区的信息。因为这个主题只有一个分区，所以只有一行。
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
- “leader”是负责对给定分区进行所有读写操作的节点。每个节点将作为随机选择的分区的一部分的领导者。
- “replicas”是为这个分区复制日志的节点列表，不管它们是leader还是当前存活的。
- “isr”是“同步”副本的集合。这是副本列表的子集，这些副本列表现在还在运行中，并被领导者捕获。
在这里，主题分区的leader是节点1，在用相同的命令查看之前创建的主题test
kafka-topics.bat --describe --zookeeper localhost:2181 --topic test
结果如下所示
Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
这个主题没有副本，它在最开始创建的节点0上。
我们往my-replicated-topic主题发布一些信息测试一下
kafka-console-producer.bat --broker-list localhost:9092 --topic my-replicated-topic
>test message 4
>test message 5
>test message 6
>test message 7
>test message 8
下面启动消费者来消费这个主题的信息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
test message 4
test message 5
test message 6
test message 7
test message 8
消费者启动后消费的信息和上面发布的信息一样
下面来测试一下集群的容错能力，因为leader是节点1，现在把节点下关掉，测试消息的发布和消费是否正常，先来看一下主题描述
kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 0 Replicas: 1,0,2 Isr: 0,2
从上面的结果看出，leader已经切换到从之前的从节点0，复制节点只有0和2，节点1不再是复制节点。再用生产者发布一些测试信息，看消费者是否还可以消费，结果显示消费者正常消费，说明原来的leader down了并没有影响消息的消费。