Spring Boot 中集成 Kafka 并实现延迟消息队列

在 Spring Boot 中集成 Kafka 并实现延迟消息队列,需要结合 Kafka 的基础功能与自定义逻辑来处理延迟投递。以下是完整的实现步骤和示例代码,涵盖配置、生产者、消费者、延迟队列设计和消息重试机制。


一、环境准备与依赖配置

  1. 添加依赖
    pom.xml 中添加 Spring Kafka 依赖:

    <dependency>
        <groupId>org.springframework.kafkagroupId>
        <artifactId>spring-kafkaartifactId>
    dependency>
    
  2. Kafka 配置
    application.yml 中配置生产者和消费者:

    spring:
      kafka:
        bootstrap-servers: localhost:9092
        producer:
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer
          acks: all  # 确保消息持久化
          retries: 3  # 生产者重试次数
        consumer:
          group-id: delay-group
          auto-offset-reset: earliest
          enable-auto-commit: false  # 手动提交偏移量
    

二、延迟队列设计

Kafka 本身不支持延迟消息,需通过以下方案实现:

  1. 多级重试主题
    创建不同延迟时间的主题(如 order.retry.1m, order.retry.5m),消息根据重试次数发送到对应主题。
  2. Redis 存储延迟任务
    使用 Redis 的 ZSET 存储待重试消息,按执行时间排序,定时任务轮询并重新投递消息。

三、核心代码实现

1. 生产者配置与消息发送
@Service
public class KafkaProducer {
   
    private final KafkaTemplate<String, String> kafkaTemplate;

    @Autowired
    public KafkaProducer(KafkaTemplate

你可能感兴趣的:(架构总结,架构,kafka,java)