kafka本地环境测试

一、安装zooeleeper

 

下载安装包：http://zookeeper.apache.org/releases.html#download

 

下载后解压到一个目录：

 

1.进入Zookeeper设置目录，我的D:\java\Tool\zookeeper-3.4.13\conf

2. 将“zoo_sample.cfg”重命名为“zoo.cfg”

3. 在任意文本编辑器（如notepad）中打开zoo.cfg

4. 找到并编辑dataDir=D:\\java\\Tool\\zookeeper-3.4.13\\tmp

5. 与Java中的做法类似，我们在系统环境变量中添加：

　　a. 在系统变量中添加ZOOKEEPER_HOME = D:\java\Tool\zookeeper-3.4.13

　　b. 编辑path系统变量，添加为路径%ZOOKEEPER_HOME%\bin;

6. 在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181）

修改zkServer.cmd   set JAVA=D:\JDK1.8\bin\java  自己的jdk路径

 

打开新的cmd，输入zkServer，运行Zookeeper。

8. 命令行提示如下：说明本地Zookeeper启动成功

 

 

 

二、安装与运行Kafka

下载http://kafka.apache.org/downloads.html。注意要下载二进制版本的

 

 

下载后解压到任意一个目录，我的的是D:\Java\Tool\kafka_2.11-0.10.0.1

 

1. 进入Kafka配置目录，D:\java\Tool\kafka_2.11-0.10.0.1

2. 编辑文件“server.properties”

3. 找到并编辑log.dirs=D:\java\Tool\kafka_2.11-0.10.0.1\kafka-log,这里的目录自己修改成自己喜欢的

4. 找到并编辑zookeeper.connect=localhost:2181。表示本地运行

5. Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。

6.修改kafka-run-class.bat

 

找到 set JAVA的地方 改成set JAVA=D:\JDK1.8/bin/java 自己的jdk路径

在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat为%CLASSPATH%加上双引号

#修改前

set COMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp%CLASSPATH% %KAFKA_OPTS% %*   

 

#修改后

set COMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp"%CLASSPATH%"%KAFKA_OPTS% %*

 

运行：

重要：请确保在启动Kafka服务器前，Zookeeper实例已经准备好并开始运行。

1.进入Kafka安装目录D:\java\Tool\kafka_2.11-0.10.0.1

2.按下Shift+右键，选择“打开命令窗口”选项，打开命令行。

3.现在输入

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

 

 

 

三、测试

上面的Zookeeper和kafka一直打开

（1）、创建主题

1.进入Kafka安装目录D:\Java\Tool\kafka_2.11-0.10.0.1

2.按下Shift+右键，选择“打开命令窗口”选项，打开命令行。

3.现在输入

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zhengneng

 

 

 

创建生产者

进入Kafka安装目录D:\Java\Tool\kafka_2.11-0.10.0.1

2.按下Shift+右键，选择“打开命令窗口”选项，打开命令行。

3.现在输入D:\java\Tool\kafka_2.11-0.10.0.1>.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic zhangneng

 

创建消费者

进入Kafka安装目录D:\Java\Tool\kafka_2.11-0.10.0.1

2.按下Shift+右键，选择“打开命令窗口”选项，打开命令行。

3.现在输入D:\java\Tool\kafka_2.11-0.10.0.1>.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic zhangneng

 

然后在生产者控制台输入信息  消费者控制台就会打印出信息

 

结合我们的项目 jdk版本使用1.8

 

pom.xml

   org.apache.kafka

   kafka-clients

   2.1.1

   org.apache.kafka

   kafka_2.12

   2.1.1

   org.springframework.kafka

   spring-kafka

   1.1.1.RELEASE

 

worker.properties

################# kafka producer ##################

kafka.producer.bootstrap.servers=localhost:9092

kafka.producer.acks = all

#发送失败重试次数

kafka.producer.retries = 3

kafka.producer.linger.ms = 10

# 33554432 即32MB的批处理缓冲区

kafka.producer.buffer.memory = 40960

#批处理条数：当多个记录被发送到同一个分区时，生产者会尝试将记录合并到更少的请求中。这有助于客户端和服务器的性能

kafka.producer.batch.size = 4096

kafka.producer.defaultTopic = test

 

################# kafka consumer ################## ,

kafka.consumer.bootstrap.servers = localhost:9092

# 如果为true，消费者的偏移量将在后台定期提交

kafka.consumer.enable.auto.commit = true

#如何设置为自动提交（enable.auto.commit=true），这里设置自动提交周期

kafka.consumer.auto.commit.interval.ms=1000

#order-beta 消费者群组ID，发布-订阅模式，即如果一个生产者，多个消费者都要消费，那么需要定义自己的群组，同一群组内的消费者只有一个能消费到消息

kafka.consumer.group.id = order-beta

#在使用Kafka的组管理时，用于检测消费者故障的超时

kafka.consumer.session.timeout.ms = 30000

 

创建 生产者 kafka-producer.xml

   

      

         

         

         

         

         

         

         

         

         

         

         

         

         

         

      

   

 

     class="org.springframework.kafka.core.DefaultKafkaProducerFactory">

   

      

   

 

   

   

   

 

创建 消费者 kafka-consumer.xml

   

      

         

         

         

         

         

         

         

         

         

               value="org.apache.kafka.common.serialization.StringDeserializer" />

         

               value="org.apache.kafka.common.serialization.StringDeserializer" />

      

   

 

 

   

      

   

 

   

   

 

    

       

 

 

spring-context.xml 增加配置

 

 

 

public void onMessage(ConsumerRecord consumerRecord) {

 

    Object o = consumerRecord.value();

    System.out.println(String.valueOf(o));

}

 

 

 

测试方法

 

@Resource

private KafkaTemplate kafkaTemplate;

 

 

 

 

@UnSession

@RequestMapping(value = "/lcmain")

public void getlcbidmain() throws Exception {

   kafkaTemplate.setProducerListener(producerListener);

   System.out.println(kafkaTemplate.getDefaultTopic());

   kafkaTemplate.sendDefault("testvalue");

}

 

 

 

 

kafkaTemplate 

Ctrl+鼠标左键进入KafkaTemplate的源代码中查看一下，可以看到有关发送的接口如下。

 

topic：这里填写的是Topic的名字

partition：这里填写的是分区的id，其实也是就第几个分区，id从0开始。表示指定发送到该分区中

timestamp：时间戳，一般默认当前时间戳

key：消息的键

data：消息的数据

ProducerRecord：消息对应的封装类，包含上述字段

Message：Spring自带的Message封装类，包含消息及消息头

 

1、根据业务需要，发送数据消息到Kafka可能需要在业务逻辑处理完成之后，特别是在对外服务的接口中，为保证接口不超时，发送消息到Kafka，把消息丢到线程池中，而不要使用Kafka提供的send方法直接方法，否则出现异常，对系统本身 以及对 接口响应时间 都有影响，在线程池中，实现send功能，并且要捕获异常。

 

2、订阅Kafka消息的Consumer代码，也要捕获异常，防止因为其它的异常，导致系统业务不能正常使用

 

3、无论是请求外部系统的接口，还是提供给外部系统的接口，都要捕获异常，不要因为外部系统接口的问题，导致自身系统业务逻辑出错