kafka系列-入门篇之安装

前言

Kakfa经过几年的时间，终于来到了2.x的正式版本。不过在0.8.x的版本就有不少公司已经在生产环境上使用了，也可以说明它在大数据生态圈的地位是非常重要的。经过几个版本的迭代，API发生了一些变化，增加了一些新的特性，这些我们在后面的文章再来慢慢道来吧，今天我们从kafka的安装开始。前期准备

我们知道大数据是从Hadoop发展而来，但是kafka的安装还不是必需使用hdfs、mapreduce和yarn。在安装kafka之前需要安装JDK 1.7以上，建议使用JDK1.8。

kafka对于操作系统的兼容性是十分好的，无论你使用的是linux、macos还是windows，都是可以正常的使用。

 

安装

下载kafka安装包，解压后的目录如下。

1. bin目录下是执行文件。bin下不但有kafka的执行文件，还包括了zookeeper的执行文件。如果你安装了zookeeper可以不用使用这里的zookeeper。
2. config目录下是配置文件。同样，该目录下有kafka和zookeeper的配置文件
3. libs目录下是kafka相关的jar包。
4. site-docs目录下是kafka的文档。

 

解压完后，就算是安装完了。你也可以配置一下环境变量，方便在终端执行命令。按照下面的命令操作，可以不用配置环境变量。后面的命令都是在前台执行的，也就是说每个命令执行都需要新建一个窗口。

启动zookeeper

如果你之前安装zookeeper，那么也可以启动你之前安装的zookeeper。

进入解压的kafka目录

对于linux或者macos操作系统，执行zookeeper的shell文件

bin/zookeeper-server-start.sh config/zookeeper.properties

对于window操作系统，请执行对应的bin/windows下的bat文件

bin/windows/zookeeper-server-start.bat config/zookeeper.properties

启动kafka

对于linux或者macos操作系统，执行kafka的shell文件

bin/kafka-server-start.sh config/server.properties

对于windows操作系统用户，请执行对应的bin/windows目录下的bat文件

bin/windows/kafka-server-start.bat config/server.properties

测试消息发送

创建一个topic

对于linux或者macos操作系统，执行kafka的shell文件

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

对于windows操作系统用户，请执行对应的bin/windows目录下的bat文件

bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动producer

对于linux或者macos操作系统，执行kafka的shell文件

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

对于windows操作系统，执行kafka的bat文件

bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic test

启动consumer

对于linux或者macos操作系统，执行kafka的shell命令

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

对于windows操作系统，执行kafka的bat命令

bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

发送消息

在producer窗口发送一个测试消息

在consumer窗口收到了来自producer的消息