springboot 与 kafka整合示例

kafka 是什么？

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库。

1. 可以进行消息发布和订阅
2. 可以存储数据
3. 可以处理实时流数据

kafka基本概念

• Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程/代码/服务
• Consumer：消息和数据的消费者，订阅数据(Topic)并且处理其发布的消息的进程/代码/服务
• Consumer Group:逻辑概念，对于同一个topic,会广播给不同的group，一个group中，只有一个consumer可以消费该消息
• Broker：物理概念，Kafka集群中的每个Kafka节点
• Topic：逻辑概念，Kafka消息的类别，对数据进行区分、隔离
• Partition：物理概念，Kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的
• Replication：同一个Partition可能会有多个Replica，多个Replica之间数据是一样的
• Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互
• ReplicaManager：负责管理当前broker所有分区和副本的信息、处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息等

创建项目

jdk1.8 、springboot 、fastjson、lombok

项目整体架构：

本文使用IDEA 创建 springboot 项目，简单快速，kafka服务搭建此处不详细讲解,有兴趣可以查看我的这篇博文 《在windows上搭建 kafka》

1. pom.xml 中添加依赖

    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        2.2.4.RELEASE
         
    
    com.example
    springboot-kafka-demo
    0.0.1-SNAPSHOT
    springboot-kafka-demo
    Demo project for Spring Boot

    
        1.8
    

    
        
            org.springframework.boot
            spring-boot-starter-web
        
        
            org.springframework.kafka
            spring-kafka
        
        
            org.projectlombok
            lombok
            true
        
        
            com.alibaba
            fastjson
            1.2.62
        
        
            org.springframework.boot
            spring-boot-starter-test
            test
            
                
                    org.junit.vintage
                    junit-vintage-engine
                
            
        
        
            org.springframework.kafka
            spring-kafka-test
            test
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            
        
    

2. 配置 application.yml 文件

server:
  port: 8080
spring:
  application:
    name: springboot-kafka-demo
  kafka: # 指定kafka的代理地址，可以配置多个
    bootstrap-servers: localhost:9092,localhost:9093,localhost:9094
    producer:
      retries: 0  # 每次批量发送消息的数量
      # 这有助于提升客户端和服务器上的性能，此配置控制默认批量大小（以字节为单位），默认值为16384
      batch-size: 16384
      # 生产者可用于缓冲等待发送到服务器的记录的内存总字节数，默认值为33554432
      buffer-memory: 33554432
      # key的Serializer类，实现类实现了接口org.apache.kafka.common.serialization.Serializer
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # value的Serializer类，实现类实现了接口org.apache.kafka.common.serialization.Serializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      bootstrap-servers: ${spring.kafka.bootstrap-servers}
    consumer:
      bootstrap-servers: ${spring.kafka.bootstrap-servers}
      # 指定默认消费者group-id
      group-id: test
      # earliest 如果不存在已提交的offest时，表示从头开始消费
      auto-offset-reset: earliest
      # 默认采用自动提交的机制
      enable-auto-commit: true
      # 如果'enable.auto.commit'为true，则消费者偏移自动提交给Kafka的频率（以毫秒为单位），默认值为5000。
      auto-commit-interval: 100
      # 指定消息key和消息体的编解码方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

3. 生产者Producer

package com.example.springboot.kafka.demo.kafka.producer;

import com.alibaba.fastjson.JSON;
import com.example.springboot.kafka.demo.kafka.Message;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @version 1.0.0
 * @Description 生产者测试
 * @createTime 2020年01月29日 11:59:00
 */
@Component
@Slf4j
@RestController
public class KafkaSender {
    @Autowired
    private KafkaTemplate kafkaTemplate;

    /**
     * 发送消息方法
     * @param msg
     */
    @RequestMapping("/send")
    public void send(@RequestBody Message msg){
        log.info("message = {}", JSON.toJSONString(msg));
        kafkaTemplate.send("test",JSON.toJSONString(msg));
    }
}

4. 消息监听 Consumer

package com.example.springboot.kafka.demo.kafka.consumer;

import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

import java.util.Optional;

/**
 * @version 1.0.0
 * @Description 消费者
 * @createTime 2020年01月29日 13:18:00
 */
@Slf4j
@Component
public class KafkaReceiver {
    @KafkaListener(topics = "test")
    public void listen(ConsumerRecord<?,?> record){
        Optional<?> kafkaMessage = Optional.ofNullable(record.value());
        if(kafkaMessage.isPresent()){
            Object message = kafkaMessage.get();
            log.info("record------------record = " + record);
            log.info("message----------- message  = " + message );
        }
    }
}

5. 消息实体 Message

package com.example.springboot.kafka.demo.kafka;

import lombok.Builder;
import lombok.Data;

import java.util.Date;

/**
 * @version 1.0.0
 * @Description 消息体
 * @createTime 2020年01月29日 12:39:00
 */
@Data
@Builder
public class Message {
    private Long id;
    private String msg;
    private Date sendTime;
}

6 测试

6.1 启动项目

6.2 使用postman进行测试

6.3 控制台打印