Kafka单机环境安装与测试

一、Linux虚拟机下的安装与测试

1、环境准备

     使用的是vm虚拟机，安装ubuntu18.04.2的镜像文件

2、安装步骤与测试

      1）首先在Kafka官网上下载kafka版本，本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz。将其下载到/usr/local/目录下。

      2）使用tar -zxvf kafka_2.11-1.1.1.tgz 对压缩包进行解压，并使用mv kafka_2.11-1.1.1 kafka对其压缩后的文件夹重命名。

      3）由于kafka的启动是需要zookeeper支持的，但是压缩包中给提供了zookeeper的环境供测试使用，所以再单机的环境下我们不需要在重新下载zookeeper。单机环境下，可以直接启动zookeeper服务。

           进入到kafka的bin/目录下，使用./zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties启动zookeeper，注意，zookeeper的配置文件在kafka/config/目录下。

      4）zookeeper启动成功后，就可以kafka服务了。重新开一个终端，进入到kafka的安装目录，使用

           ./kafka-server-start.sh /usr/local/kafka/config/server.properties启动kafka服务。如果没有报错则说明安装成功，下图是我kafka服务启动成功的部分截图：

                        

 

​     5）创建一个topic进行测试，使用./kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test创建一个test的topic，创建成功会显示“Created topic "test"”。

     注：在创建的时候需要根据kafka的版本进行，刚开始创建的时候使用的是./kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test命令，结果报错（Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option），如下图：

                 

             这是因为不同的版本其创建topic的命令可能不一样吧。

     6）使用./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test可以查看创建的topic的信息

                 

       至此，kafka单机搭建及创建topic的测试就完成了。

二、windows下的安装与测试

1、环境准备

     使用的是windows7的环境

2、安装步骤与测试

    1）首先在Kafka官网上下载kafka版本，本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz。将此保存到Windows的某个文件夹下，并进行解压。

    2）进入到kafka解压后的目录，并进入到bin\windows目录下，打开cmd，启动zookeeper服务，使用zookeeper-server-start.bat E:\Kafka\kafka_2.11-1.1.1\config\zookeeper.properties启动zookeeper。

    3）新开一个cmd，使用kafka-server-start.bat E:\Kafka\kafka_2.11-1.1.1\config\server.properties启动kafka。

    4）创建主题。使用kafka-topics.bat --create --zookeeper localhost:2181 --topic test --partitions 1 -replication-factor 1，创建成功如图所示

    5）查看创建主题的描述信息，使用kafka-topics.bat --describe --zookeeper localhost:2181 --topic test，即

    6）使用kafka-console-producer.bat --broker-list ocalhost:9092 --topic test发送消息，使用ctrl+c终止

    7）kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning查看消息

3、问题总结

    1）在启动kafka的时候，出现：count not reserve enough space for 1048576KB object heap

    原因：kafka启动需要占用大量jvm堆内存。

    解决：找到jdk安装的目录，在bin目录下jvisualvm.exe，可以看到初始堆内存的大小和最大堆内存的大小。

    进入kafka安装目录，修改bin\windows下的kafka-server-start.bat文件，将其大小修改为小于最大堆内存的大小，即可

    2）在创建主题的时候，出现Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option

    原因：创建主题的命令的错误

    解决方法：重新查看创建主题的命令并修改。