前言：关于Kafka，是一个比较流行的MQ工具，也是多数公司比较常用的。有关于Kafka的一些基本内容读者可以参考官方文档，了解一下生产者消费者的使用。kafka的搭建笔者也不再详述，网络上有很多文章介绍。这篇文章主要是从源码的角度来分析一下Spring对kafka的使用封装笔者搭建的kafka版本为kafka_2.11-0.11.0.11.原生的使用生产者、消费者引入maven为：org.apa

基于Spring-Kafka完成的一些基本操作基于Spring-Kafka完成的一些基本操作pom.xmlKafkaConfigKafkaServiceKafkaServiceImpl原本写kafka-client

一.概述本文会使用两种方式使用kafka：直接使用kafka-client连接kafka服务；另一种是使用spring-kafka框架来连接kafka。

zookeeper为zookeeper-3.4.5，scala为2.11.4，kafka为2.9.2-0.8.1，现在有一个springboot的项目，要整合kafka集群，其中springboot为2.1.0，spring-kafka

在进行大规模的每秒十几万的数据推送与接收稳定性出现了一定瓶颈。并发推送：运行几个小时后写入Kafka日志有出现1-3秒的延迟。订阅接收：运行几个小时后拉取kafka消息也会有1-3秒的延迟。

Spring-kafka是在kafka-clients基础上开发封装的项目，所以选择版本需要注意兼容对应，以下是Spring官方给出的版本兼容表。版本

文章目录场景环境正文spring-kafka发送消息的介绍消息发送确认机制一、同步阻塞二、异步等待结果返回总结参考链接随缘求赞场景在使用spring-kafka进行功能开发的时候，思考过这样一个问题：假如使用信号量的方式

spring-kafka提供了批量拉取数据和手动提交的策略。

1、先解决依赖springboot相关的依赖我们就不提了，和kafka相关的只依赖一个spring-kafka集成包org.springframework.kafkaspring-kafka1.1.1.

说明在上篇博文《springboot学习(十七)：了解spring-kafka配置工作原理》中，我们简单了解了spring-kafka的配置工作原理。

/qq_42606051/article/details/81407309还有这几篇：http://kafka.apache.org/quickstarthttps://docs.spring.io/spring-kafka

创建topic3.2、发送kafka消息3.3、接收kafka消息四、源码地址一、所需jar包此处springboot版本为2.1.0.RELEASE，不同的springboot版本需要引用不同版本的spring-kafka

一、依赖org.springframework.kafkaspring-kafka注：这个spring-kafka依赖里面包含了kafka-cl

TheSpringforApacheKafka(spring-kafka)projectappliescoreSpringconceptstothedevelopmentofKafka-basedmessagingsolutions.Itprovidesa

Spring创建了一个项目Spring-kafka，封装了Apache的Kafka-client，用于在Spring项目里快速集成kafka。

Kafka服务进行SpringBoot的集成，详细步骤如下：1依赖包引用在build.gradle文件中添加依赖如下：implementation'org.springframework.kafka:spring-kafka

一、疑问描述spring-kafka通过@KafkaListener的方式配置订阅的topic，通过@Configuration配置创建kafkaListenerContainerFactory。

开工之前先阅读阿里云官方kafka消息接入说明：https://help.aliyun.com/document_detail/52376.html1、首先引入kafkajar包spring-kafka

看了spring-kafka的官方文档介绍，可以知道自1.1版本之后，@Kafk

一、前言在Java中使用kafka，方式很多，例如：直接使用kafka-clients这类原生的API；也可以使用Spring对其的包装API，即spring-kafka，同其它包装API一样（如JdbcTemplate

spring-kafka整合消费端代码1.pom文件依赖4.0.0org.springframework.bootspring-boot-starter-parent2.3.0.RELEASEcom.spring.shiroshiro-springboot0.0.1

一、生产者1、重要配置#高优先级配置#以逗号分隔的主机：端口对列表，用于建立与Kafka群集的初始连接spring.kafka.producer.bootstrap-servers=TopKafka1:9092,TopKafka2:9092,TopKafka3:9092#设置大于0的值将使客户端重新发送任何数据，一旦这些数据发送失败。注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重

org.springframework.bootspring-boot-starter-parent2.1.0.RELEASEorg.springframework.kafkaspring-kafka2.2.0.RELEASE注：这里要注意springboot版本与spring-kafka

环境springboot2springcloudspring-kafkakakfa2.2.0场景程序调用spring-kakfa内置的kafkaTemplate进行发送消息，但是消息实体过大，超过默认配置，导致消息发送失败。报错提示如下：Themessageis2044510byteswhenserializedwhichislargerthanthemaximumrequestsizeyouha

1、先解决依赖springboot相关的依赖我们就不提了，和kafka相关的只依赖一个spring-kafka集成包org.springframework.kafkaspring-kafka1.1.1.

一、@KafkaListener注解使用方式spring-kafka使用基于@KafkaListener注解，@KafkaListener使用方式如下。

添加依赖org.springframework.kafkaspring-kafkakafka配置beanimportorg.apache.kafka.clients.consumer.ConsumerConfig;importorg.apache.kafka.common.serialization.StringDeserializer;importorg.springframework.bean

一、@KafkaListener注解使用方式spring-kafka使用基于@KafkaListener注解，@KafkaListener使用方式如下。

Spring创建了一个项目Spring-kafka，封装了Apache的Kafka-client，用于在Spring项目里快速集成kafka。

所有版本配套详情参见：https://spring.io/projects/spring-kafka项目中使用的为2.2.0版本springboot，对应Kafka配套版本参见下图；org.springframework.bootspring-boot-starter-parent2.2.0

spring-kafka多线程顺序消费业务场景kafka多线程消费方案kafka怎么保证顺序消费普通方式实现方案一spring-kafka为我们做的封装业务场景我们公司是做共享充电宝的业务的。

java实现生产者非常简单，可以直接使用kafka-clients包，也可以使用spring-kafka这样的框架。

写在前面这里我会总结一下，Springboot集成spring-kafka中，consumer的相关配置，Api这里的东西，比Producer稍微多一些集成相关配置server:port:9000spring

因此，也越来越多的框架对kafka做了集成，比如本文将要说到的spring-kafka。Kafka既然作为一个消息发布订阅系统，就包括消息生成者和消息消费者。

一spring-kafka介绍spring-kafka是在kafka-clients的基础上的封装。

为什么80%的码农都做不了架构师？>>>近日我们项目组采用Kafka来做系统日志统一管理，但是天降横祸的让Kafka集群（3台服务器）都挂了，堪比中大奖的节奏，随之而来的是使用Kafka发送消息日志的服务全部卡死，经过排查发现居然是Kafka当机导致了调用Kafka发送日志服务一直处于阻塞状态。最后我们在检查代码的时候发现，如果无法连接Kafka服务，则会出现一分钟的阻塞。以上问题有两种解决方案：

@KafkaListener如何使用spring-kafka使用基于@KafkaListener注解，@KafkaListener使用方式如下@KafkaListener(topics="xxx")publicvoidtestListen

zookeeper安装https://blog.csdn.net/qq_16116549/article/details/104442768（里边包含）spring官方描述的spring-kafka的版本和

代码来自Kafka官方网站:https://github.com/spring-projects/spring-kafka/tree/master/samples/sample-03ConcurrentKafkaListenerContainerFactory

因此采用spring-kafka来实现。kafka对消息顺序性的保证kafka的分区(partition)机制可以保证消息的顺序性。下图是kafka官方文档的一小段描述：k

去找的这些注解，Spring可能会缺漏，如果你们项目中还有其他Spring注解的使用，可留言给我，我再补充...共同学习一、spring-web二、spring-context三、spring-tx四、spring-kafka

spring官方描述的spring-kafka的版本和kafka-clients的版本对应关系:官方地址:https://spring.io/projects/spring-kafka中间列:“SpringIntegrationforApacheKafkaVersion

kafka消费客户端使用Spring-kafka第三方库的开源jar包，引入Mavenorg.apache.kafkakafka_2.100.10.2.1org.springframework.kafkaspring-kafka1.2.1

简介由于项目中需要使用kafka作为消息队列，并且项目是基于spring-boot来进行构建的，所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。

>>>简介由于项目中需要使用kafka作为消息队列，并且项目是基于spring-boot来进行构建的，所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。

消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）：（1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）;（2）指定"auto.offset.reset

2019独角兽企业重金招聘Python工程师标准>>>kafka消费客户端使用Spring-kafka第三方库的开源jar包，引入Maven[java]viewplaincopyorg.apache.kafkakafka

spring-kafka使用spring-kafka的小伙伴，看过来。说明因为spring-kafka封装的比较厉害，可能跟你实际使用起来有很大的差别。

在Java应用中，我们往往会使用spring-kafka组件简单的设置一下group_id,topic就开始消费消息了，其实这样会埋下巨大的安全隐患，即当消费速度过慢时有可能会触发rebalance,这批消息被分配到另一个消费者

一、前言本文针对Kafka的消费者代码，均由Kafka原生的客户端API构成，而非spring-kafka或SpringCloudStream等对于原生API进行封装的示例。