Spring-Kafka

在Spring Boot微服务集成spring-kafka操作Kafka集群

记录：461场景：在SpringBoot微服务集成spring-kafka-2.8.2操作Kafka集群。使用KafkaTemplate操作Kafka集群的生产者Producer。使用@KafkaListener操作Kafka集群的消费者Consumer。版本：JDK1.8,SpringBoot2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。Kafka集群安装：
zhangbeizhen18·2023-06-19 06:48

使用spring-kafka的Java API操作Kafka集群的Topic

记录：462场景：在SpringBoot微服务集成spring-kafka-2.8.2操作Kafka集群的Topic的创建和删除。版本：JDK1.8,SpringBoot2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。Kafka集群安装：https://blog.csdn.net/zhangbeizhen18/article/details/1311560841
zhangbeizhen18·2023-06-19 06:48

浅析Spring-kafka源码——消费者模型的实现

SpringBoot项目中的消费端实现而言，Spring-kafka没有用原生的ConsumerConnector,，而是借助原生client的拉取消息功能做了自己的消费模型的实现，提供了@KafkaListener
WannaRunning·2023-06-18 05:40

在Spring Boot微服务集成Kafka客户端(spring-kafka)操作Kafka

记录：457场景：在SpringBoot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka。使用Spring封装的KafkaTemplate操作Kafka生产者Producer。使用Spring封装的@KafkaListener操作Kafka的消费者Consumer。版本：JDK1.8,SpringBoot2.6.3,kafka_2.12-2.8.0,spring-kaf
zhangbeizhen18·2023-06-18 00:20

使用Kafka客户端(spring-kafka)的Java API操作Kafka的Topic

记录：458场景：在SpringBoot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka的Topic的创建和删除。版本：JDK1.8,SpringBoot2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。Kafka安装：https://blog.csdn.net/zhangbeizhen18/article/details/129071
zhangbeizhen18·2023-06-18 00:50

spring kafka之如何批量给topic加前缀

kafka，他们希望我们部门能帮他们实现自动给kafka的topic加上环境前缀，比如开发环境，则topic为dev_topic,测试环境，则topic为test_topic,他们kafka客户端是使用spring-kafka
磊哥 低调·2023-06-09 09:01

Spring整合kafka

方式1只用spring-kafka依赖就行org.springframework.kafkaspring-kafka2.2.0.RELEASE注入KafkaTemplate模板@Configuration
程序三两行·2023-04-21 20:12

【Kafka】SASL认证的Kafka客户端代码示例(spring-kafka和原生客户端)

文章目录spring-kafka原生客户端Tipsspring-kafka添加依赖：org.springframework.kafkaspring-kafka2.6.3添加spring-kafka相关配置
三月是你的微笑·2023-04-17 20:21

spring-kafka开启事务导致数据库事务失效问题解决

解决DataSourceTransactionManagerAutoConfiguration*ConditionalOnMissingBean(TransactionManager.class)*导致spring-kafka
YMY_666·2023-04-16 02:33

spring-kafka源码阅读(1)

SPRING-KAFKA源码最近看了一点spring-kafka的东西,看到网上相关的东西比较少,就想着自己整理一把.相关介绍kakfakafkaspring-kafkaspring-kafkaspring-kafkademoproducer
那就太谢谢你了·2023-04-14 04:35

spring-Kafka中的@KafkaListener深入源码解读

目录前言一、总体流程二、源码解读1、postProcessAfterInitialization1.1、processKafkaListener1.2、processListener1.3、registerEndpoint1.4、startIfNecessary2、afterSingletonsInstantiated2.1、afterPropertiesSet2.2、registerAllEnd
·2023-04-12 01:37

（转发）搞定 SpringBoot 整合 Kafka（spring-kafka深入探秘）

Spring创建了一个项目Spring-kafka，封装了Apache的Kafka-client，用于在Spring项目里快速集成kafka。
淘气的王淘气_PACKAGE·2023-04-05 23:26

spring集成kafka注意问题

kafka-clients包版本与服务器端kafka-clients版本保持一致（查看服务器kafka版本方法在kafka安装目录下libs中查找kafka-clients开头的jar文件）2)引入的spring-kafka
裘马轻狂大帅·2023-04-02 23:33

解决kafka主题分区数量限制消费速度的问题

二、解决方法使用kafka批量消费，拉取到应用程序里面再通过多线程消费，增加消费速度三、步骤1.pom引入spring-kafka的依赖2.增加springkafka的配置listener.concurrency
蚂蚁和日出·2023-04-02 01:33

actuator和springkafka版本冲突

org.springframework.bootspring-boot-starter-actuator我使用的springboot版本是org.springframework.bootspring-boot-starter-parent2.3.2.RELEASE使用的spring-kafka
Bigglesworth·2023-03-22 08:45

Spring-kafka集成 - 配置Topic信息

配置Topic信息一个前提：在ApplicationContext中需要配置有KafkaAdmin管理Bean。配置方式：通过NewTopic类进行配置。@BeanpublicKafkaAdminadmin(){Mapconfigs=newHashMap<>();configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG,StringUtils.a
Tests_Passed·2023-03-15 13:31

使用Spring-kafka的@KafkaListener报错信息Listener method could not be invoked with the incoming message

使用Spring-kafka的@KafkaListener报错信息Listenermethodcouldnotbeinvokedwiththeincomingmessage问题背景报错原因解决办法问题背景先说一下背景
我叫CJJ·2023-02-04 17:20

Spring-Kafka（七）—— 实现消息转发以及ReplyTemplate

实现方式Spring-Kafka整合了两种消息转发方式：使用Headers设置回复
海苔胖胖·2023-02-03 05:38

spring-kafka使消费者动态订阅新增的topic问题

topic被分配到消费者3.4发送第一条消息3.5注意事项总结一、前言在Java中使用kafka，方式很多，例如：直接使用kafka-clients这类原生的API；也可以使用Spring对其的包装API，即spring-kafka
·2022-12-28 15:18

搞定 SpringBoot 整合 Kafka（spring-kafka深入探秘）

Spring创建了一个项目Spring-kafka，封装了Apache的Kafka-client，用于在Spring项目里快速集成kafka。
lililidahaoren·2022-12-24 17:29

kafka 的使用原理及通过spring-kafka 自定义封装包的原理

目录：Kafka封装包接入1.Kafka工作原理2.SpringKafka介绍3.kafka封装包的设计及使用Kafka封装包接入1.Kafaka工作原理1).kafka的定义：消息队列的两种模式：1).点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息
焱宣·2022-12-21 08:33

SpringBoot集成Kafka 配置工具类的详细代码

目录1、单播模式，只有一个消费者组2、广播模式，多个消费者组spring-kafka是基于java版的kafkaclient与spring的集成，提供了KafkaTemplate，封装了各种方法，方便操作
·2022-10-14 23:28

Spring Kafka：Retry Topic、DLT 的使用与原理

2.版本spring-kafka2.7.14（2.7.x以下版本不支持RetryTopic）3.默认重试策略默认情况下，spring-kafka在消费逻辑抛出异常时，会快速重试10次（无间隔时间），如果重试完成后
殷天文·2022-08-22 17:05

Spring-kafka入门使用Demo(超详细)---------无授权认证方式

一、安装(结合zookeeper)由于kafka需要依赖于zookeeper，因此在这里先安装zookeeper1.拉取zookeeper镜像dockerpullwurstmeister/zookeeper2.启动zookeeperdockerrun-d--namezookeeper-p2181:2181-eTZ="Asia/Shanghai"--restartalwayswurstmeister
·2022-08-18 18:04

聊聊在springboot项目中如何配置多个kafka消费者

但很多时候我们会使用spring-kafka来简化开发，可是spring-kafka原生的配置项并没提供多个kafka配置，因此本文就来聊聊如何将spring-kafka进行改造，使之能支持多个kafka
·2022-08-02 09:25

spring-kafka之@KafkaListener单条或批量处理消息

文章目录消息监听容器1、KafkaMessageListenerContainer2、ConcurrentMessageListenerContainer@KafkaListener底层监听原理SpringBoot自动加载kafka相关配置1、KafkaAutoConfiguration2、KafkaAnnotationDrivenConfiguration生产配置1、单条消息处理2、批量处理3、
柏油·2022-07-21 12:53

spring-Kafka之@KafkaListener深入解读

文章目录前言一、总体流程二、源码解读1、postProcessAfterInitialization1.1、processKafkaListener1.2、processListener1.3、registerEndpoint1.4、startIfNecessary2、afterSingletonsInstantiated2.1、afterPropertiesSet2.2、registerAllE
柏油·2022-07-21 12:23

Spring-kafka指定partition分区发送报错Topic radar not present in metadata after 60000

文章目录解决报错信息org.apache.kafka.common.errors.TimeoutException:Topicradarnotpresentinmetadataafter60000ms.2022-06-2716:31:22.734ERROR11236---[XNIO-1task-1]o.s.k.support.LoggingProducerListener:Exceptionthr
坚持是一种态度·2022-06-28 20:07

手撸了一个 SpringBoot Starter 解决了 Kafka多数据源配置

前言日常项目中需要使用两个或以上kafka的数据源地址，面向百度编程的过程中发现，几个数据源就需要配置几个配置文件，并没有优雅的解决方式，于是开发了一款基于Spring-Kafka的kafka-spring-boot-starter
爪哇驿站·2022-06-28 17:57

聊聊如何实现一个带幂等模板的Kafka消费者

本文就以spring-kafka举例，聊聊如何实现一个带幂等模板的kafka消
·2022-05-24 09:29

【kafka异常】使用Spring-kafka遇到的坑

查看一下压缩策略bin/kafka-topics.sh--describe--zookeeperxxxx:2181--topicSHI_TOPIC1Topic:SHI_TOPIC1PartitionCount:1ReplicationFactor:1Configs:cleanup.policy=compactTopic:SHI_TOPIC1Partition:0Leader:0Replicas:0
AK774S·2022-05-01 08:51

被kafka-client和springkafka版本坑到自闭及解决

目录被kafka-client和springkafka版本坑springboot、spring-kafka、kafka-client三者兼容性关系被kafka-client和springkafka版本坑上周刚刚欢天喜地的在
·2022-03-26 16:07

原因分析IDEA导入Spring-kafka项目Gradle编译失败

目录前言异常信息具体原因解决问题前言最近在弄kafka相关的东东，因为是springboot工程，所以用到了Spring-kafka，一个包含了kafka-producer和kafka-consumer
·2022-02-25 19:51

深入研究spring boot集成kafka之spring-kafka底层原理

目录前言简单集成引入依赖添加配置测试发送和接收Spring-kafka-test嵌入式KafkaServer引入依赖启动服务创建新的Topic程序启动时创建TOPIC代码逻辑中创建PS:其他的方式创建TOPIC引入依赖api方式创建命令方式创建消息发送之KafkaTemplate探秘获取发送结果异步获取同步获取KAFKA事务消息REPLYINGKAFKATEMPLATE获得消息回复Spring-k
·2022-02-25 19:48

Spring-Kafka集成-发送消息

使用KafkaTemplate发送消息定义：KafkaTemplate包装了一个生产者，并提供方便的方法用于发送数据给Kafkatopic。使用KafkaTemplate方法前需要配置一个Producer的工厂类，并将它作为Kafkatemplate的构造器参数传入构造实例。@BeanpublicProducerFactoryproducerFactory(){returnnewDefaultKa
Tests_Passed·2022-02-18 05:14

Springboot集成Kafka进行批量消费及踩坑点

图片更新可能不及时，详情可查看spring-kafka官方网站。注：这里有个踩坑点，如果引入包版本不
·2022-01-02 17:48

spring 整合kafka监听消费的配置过程

整合过程1.引入spring-kafka的依赖包org.springframework.kaf
·2021-09-13 13:16

搞定 SpringBoot 整合 Kafka（Spring-Kafka深入探秘）

点击上方“Java基基”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中间件TCC-Transaction源码解析Eurek
Java基基·2021-05-03 11:00

一次消息消费服务的内存泄漏排查小记

线上有一个消息消费服务xxx-consumer，使用spring-kafka框架，主线程批量从消费队列（kafka）拉取交易系统生产的消息，然后提交到子线程池中挨个处理消费。
·2021-02-19 09:30

一次消息消费服务的内存泄漏排查小记

线上有一个消息消费服务xxx-consumer，使用spring-kafka框架，主线程批量从消费队列（kafka）拉取交易系统生产的消息，然后提交到子线程池中挨个处理消费。
·2021-02-19 09:48

Apache Kafka-消费端消费重试和死信队列

文章目录概述CodePOM依赖配置文件配置类SeekToCurrentErrorHandler自定义逻辑处理消费异常生产者消费者单元测试测速结果源码地址概述Spring-Kafka提供消费重试的机制。
小小工匠·2021-02-18 16:31

Spring boot 整合KAFKA消息队列的示例

这里使用spring-kafka依赖和KafkaTemplate对象来操作Kafka服务。
·2020-12-08 12:34

spring kafka之如何批量给topic加前缀

kafka，他们希望我们部门能帮他们实现自动给kafka的topic加上环境前缀，比如开发环境，则topic为dev_topic,测试环境，则topic为test_topic,他们kafka客户端是使用spring-kafka
linyb极客之路·2020-12-05 11:43

spring kafka之如何批量给topic加前缀

kafka，他们希望我们部门能帮他们实现自动给kafka的topic加上环境前缀，比如开发环境，则topic为dev_topic,测试环境，则topic为test_topic,他们kafka客户端是使用spring-kafka
linyb极客之路·2020-12-05 11:53

spring boot集成kafka之spring-kafka深入探秘

Spring创建了一个项目Spring-kafka，封装了Apache的Kafka-client，用于在Spring项目里快速集成kafka。
kl博主·2020-11-20 21:54

Spring集成Kafka之spring-kafka

配置文件的方式实现spring整和kafka:此文主要讲述的内容:1,连接kafka服务器的配置2,kafka-customer:消费者配置3,kafka-provider:提供者配置4,KfkaUtils:根据topic发送消息5,消费者根据topic处理消息一，安装kafka网上百度一下,一大堆,在这里我就不赘述了（新版本的kafka集成了zookeeper插件，所以只需配置kafka安装包下
kehonghg·2020-09-17 12:10

spring-kafka从配置文件中读取订阅主题topic，需要将注解值分割成数组

正常的kafka订阅姿势是@KafkaListener(topics={“cat,dog”})假设你在application.properties中定义topicName=cat,dog然后在程序中使用@KafkaListener(topics={“${topicName}”})是无法成功订阅的，应为程序会将cat,log当成一个整体正确的姿势如下@KafkaListener(topics={“#
weixin_37962804·2020-09-16 19:04

Spring整合RocketMQ

等消息中间件，Spring社区已经通过多种方式提供了对这些中间件产品集成，例如通过spring-jms整合ActiveMQ、通过SpringAMQP项目下的spring-rabbit整合RabbitMQ、通过spring-kafka
欧拉兔·2020-09-16 06:38

springboot集成kafka

1、先解决依赖pom.xmlspringboot相关的依赖我们就不提了，和kafka相关的只依赖一个spring-kafka集成包org.springframework.kafkaspring-kafka1.1.1
sweetgirl520·2020-09-15 20:12

Springboot 整合 kafka（生产者--消费者）

1.pom文件（主要引入了spring-kafka、lombok、gson依赖。）
暖噫·2020-09-15 15:31
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他