kafka

Java消息队列应用：Kafka、RabbitMQ选择与优化

Java消息队列应用：Kafka、RabbitMQ选择与优化在Java应用领域，消息队列是实现异步通信、应用解耦、流量削峰等重要功能的关键组件。
向哆哆·2025-05-29 10:30

如何设计一个支持千万级数据量的搜索系统（结合 MySQL 和 ES）？ES与关系型数据库（MySQL）数据同步方案？如何保证数据库与Elasticsearch的双写一致性？对比采用事务日志与CDC方案

─计算层│├️实时写入集群（处理MySQL写入）││├️双写模块（ES同步组件）││└️本地事务表（保障本地事务）│└️异步处理集群（消费binlog）│├️Canal集群（HA部署）│└️消息分区（Kafka32partitions
搞不懂语言的程序员·2025-05-29 06:57

Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术

Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术一、需求描述二、部署Debezium集群和Oracle连接器三
快乐骑行^_^·2025-05-29 05:20

（一）Kafka 安全之使用 SSL 的加密和身份验证

目录一.前言二.使用SSL的加密和身份验证2.1.为每个KafkaBroker生成SSL密钥和证书2.1.1.主机名验证（HostNameVerification）2.1.2.注意（Note）一.前言SSL
流华追梦·2025-05-29 00:10

Kafka的Java API 基本操作

在Kafka的生态体系中，ApacheKafka原生JavaAPI是开发者与Kafka进行交互的重要工具。
shangjg3·2025-05-28 19:32

Kafka 偏移提交、数据积压与分区再均衡的解决方法

在使用ApacheKafka原生JavaAPI操作消费者时，消费偏移提交、数据积压、分区再均衡是常见且影响系统运行的关键问题。
shangjg3·2025-05-28 19:32

深入解析Spring Boot与Kafka集成：构建高效消息驱动微服务

深入解析SpringBoot与Kafka集成：构建高效消息驱动微服务引言在现代微服务架构中，消息队列扮演着至关重要的角色，它能够解耦服务之间的依赖，提高系统的可扩展性和可靠性。
Uranus^·2025-05-28 08:19

Kafka | 安装与基础入门

一、Kafka概述首先，Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue）具有分布式、高吞吐量、高可用的特点，主要应用于大数据实时处理领域。
给我一杯珍珠奶茶·2025-05-28 02:00

Kylin Server V10 下基于Kraft模式搭建Kafka集群

一、Kraft模式与ZooKeeper模式简介在Kafka2.8之前，Kafka重度依赖ZooKeeper集群做元数据管理、Controller的选举等（统称为共识服务）；当ZooKeeper集群性能发生抖动时
Mindfulness code·2025-05-28 01:54

centos7.9使用docker-compose安装kafka

docker-compose配置文件services:zookeeper:image:confluentinc/cp-zookeeper:7.0.1hostname:zookeepercontainer_name:zookeeperports:-"2181:2181"environment:ZOOKEEPER_CLIENT_PORT:2181ZOOKEEPER_TICK_TIME:2000kafk
ccsd11·2025-05-28 01:54

Spring Boot与Kafka集成实践：实现高效消息队列

SpringBoot与Kafka集成实践引言在现代分布式系统中，消息队列是实现异步通信和解耦的重要组件。
Uranus^·2025-05-27 23:40

TiCDC 新架构 v9.0.0 使用实践

c3c30ddb一.TiCDC新老架构对比1.不变部分三个模块基本没有改动：Puller（从TiKV拉取变更），Configs&CliAPI（配置和用户操作API），Sink（往下游系统写入数据的模块，比如Kafka
TiDB 社区干货传送门·2025-05-27 22:37

Spark实时流数据处理实例（SparkStreaming通话记录消息处理）

所用资源：通过网盘分享的文件：spark-streaming-kafka-0-8-assembly_2.11-2.4.8.jar等4个文件链接:https://pan.baidu.com/s/1zYHu29tLgDvS_L2Ud
qrh_yogurt·2025-05-27 16:20

深入解析Kafka核心参数：buffer_memory、linger_ms与batch_size的优化之道

欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。✨✨欢迎订阅本专栏✨✨TheStart点点关注，收藏不迷路文章目录1.K
stormsha·2025-05-27 07:56

消息队列中间件——Kafka

文章目录1.什么是消息队列2.Kafka的基本概念3.Kafka的Java生产者3.1配置并创建生产者对象3.2同步发送消息3.3异步发送消息4.Kafka的Java消费者4.1配置并创建消费者对象4.2
文大奇Quiin·2025-05-26 21:31

kafka之操作示例

一、常用shell命令#1、创建topicbin/kafka-topics.sh--create--zookeeperlocalhost:2181--replications1--topictest#2
鲸屿195·2025-05-26 20:26

Spring Cloud Stream 配置及使用（以 RabbitMQ 为例）

SpringCloudStream配置及使用（以RabbitMQ为例）SpringCloudStream是Spring提供的消息驱动微服务框架，它将消息中间件（如RabbitMQ、Kafka）与SpringBoot
maxThking·2025-05-26 19:52

消息队列选型之Kafka + Spring Boot详细实战

消息队列选型之Kafka+SpringBoot详细实战一、消息队列选型：KafkavsRabbitMQvsRocketMQ1.选型关键维度维度KafkaRabbitMQRocketMQ吞吐量百万级/秒（
danny-IT技术博客·2025-05-26 18:48

深入解析Spring Boot与Kafka集成：构建高性能消息驱动应用

深入解析SpringBoot与Kafka集成：构建高性能消息驱动应用引言在现代分布式系统中，消息队列是实现异步通信和解耦的关键技术之一。
Uranus^·2025-05-26 14:55

深入解析Spring Boot与Kafka集成：构建高效消息驱动微服务

深入解析SpringBoot与Kafka集成：构建高效消息驱动微服务引言在现代微服务架构中，消息队列扮演着至关重要的角色，尤其是在处理高并发、异步通信和解耦系统组件时。
Uranus^·2025-05-26 14:53

深入解析Spring Boot与Kafka的集成实践

深入解析SpringBoot与Kafka的集成实践引言在现代分布式系统中，消息队列扮演着至关重要的角色。
Uranus^·2025-05-26 14:53

【C/C++】从零开始掌握Kafka

文章目录从零开始掌握Kafka一、Kafka基础知识理解（理论）1.核心组件与架构2.重点概念解析二、Kafka面试重点知识梳理三、C++使用Kafka的实践（librdkafka）1.librdkafka
CodeWithMe·2025-05-26 08:49

Kafka Consumer工作流程

KafkaConsumer工作流程图1、启动与加入组消费者启动后，会向Kafka集群中的某个Broker发送请求，请求加入特定消费者组。
WZMeiei·2025-05-26 08:43

如何保证 Kafka 数据实时同步到 Elasticsearch？

Kafka数据实时同步到Elasticsearch数据同步核心配置文件(需要创建新文件)name=elasticsearch-sinkconnector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnectortasks.max
搞不懂语言的程序员·2025-05-26 04:21

Spring Boot与Kafka集成实践：从入门到实战

SpringBoot与Kafka集成实践引言在现代分布式系统中，消息队列技术扮演着至关重要的角色。
Uranus^·2025-05-26 04:19

Java面试实战：从Spring Boot到微服务架构，Redis与Kafka实战详解

Java面试实战：互联网大厂技术深度剖析面试背景随着互联网行业的快速发展，Java作为后端开发的主流语言之一，在各大企业中仍然占据重要地位。为了筛选出真正具备技术实力的候选人，大厂在面试过程中往往设置层层关卡，尤其是在技术细节和实际业务场景的应用上要求极高。本次模拟的面试场景设定为一位名为“李明”的程序员正在应聘某知名互联网公司的Java开发岗位。面试官则是一位经验丰富的技术专家，专注于考察候选人
LinLeaasd·2025-05-26 00:24

【安装指南】Canal 环境的安装与使用

目录一、MySQL的配置1.1开启并配置Binlog1.2重启MySQL服务1.3赋值数据同步权限二、安装并配置Canal2.1下载并解压Canal2.2修改配置2.2.1结合Kafka2.2.1.1修改
敖云岚·2025-05-25 20:24

Kafka 的日志清理策略：delete 和 compact

Kafkadelete日志清理策略（日志删除）原理：按照一定保留策略，直接删除不符合条件的日志分段。
WZMeiei·2025-05-25 13:42

消息队列基础面试题：Kafka中的消息流控（Flow Control）机制及其在高吞吐量场景中的优化作用

消息队列基础面试题：Kafka中的消息流控（FlowControl）机制及其在高吞吐量场景中的优化作用开场面试官：你好Victor，今天我们来聊一聊消息队列，特别是Kafka中的消息流控机制。
潇湘Victor.·2025-05-25 09:45

消息队列基础面试题：Kafka中的消息延迟队列（Delay Queue）机制及其在异步任务调度中的应用

消息队列基础面试题：Kafka中的消息延迟队列（DelayQueue）机制及其在异步任务调度中的应用面试场景介绍面试官：今天我们主要讨论Kafka中的消息延迟队列机制及其在异步任务调度中的应用。
潇湘Victor.·2025-05-25 09:45

Debezium分享系列之：Debezium2.6稳定版本Oracle数据库Debezium Connector的属性参数详解

连接器属性二、必需的DebeziumOracle连接器配置属性三、DebeziumOracle连接器数据库架构历史配置属性四、用于配置生产者和消费者客户端的传递数据库架构历史属性五、Debezium连接器Kafka
快乐骑行^_^·2025-05-25 03:33

Debezium MySqlValueConverters详解

DebeziumMySqlValueConverters详解1.类的作用与功能1.1核心作用MySqlValueConverters是Debezium中负责MySQL数据类型转换的核心类，主要功能包括：数据类型映射：将MySQL的数据类型映射到KafkaConnect
DataLu·2025-05-25 03:31

深入解读Flink on Yarn高可用、组件集成与资源调度优化

深入解读FlinkonYarn高可用、组件集成与资源调度优化FlinkonYarn作为企业级实时计算平台的主流部署模式，除了具备弹性资源管理和作业隔离能力，还可通过高可用配置保障集群稳定运行，通过与Kafka
北漂老男人·2025-05-24 19:42

APM（应用性能监控）、Apache Flink、ClickHouse在监控场景下的数据流关系及处理流程

ElasticAPM）角色：数据采集端输出：应用性能指标（QPS/延迟/错误率）、调用链日志流向：通过Agent上报至APMServer进行初步聚合ApacheFlink角色：实时流处理引擎关键操作：从Kafka
djdlg2023·2025-05-24 17:01

Kafka原理深度剖析

1.Kafka从生产（Producer）到消费（Consumer）的完整消息流转过程一、整体流程概览Producer端：应用侧通过ProducerAPI将业务消息发往指定Topic。
LiRuiJie·2025-05-24 17:01

Linux安装kafka教程

Linux安装kafka教程1、下载kafka这里我选择的版本是kafka_2.13-2.8.2。
Ricoh.·2025-05-24 11:23

Kafka的安全认证机制SASL/PLAINTEXT 2020.11.12

Kafka的安全认证机制SASL/PLAINTEXTSpringCloudStream+Kafka安全认证机制(SASL/PLAINTEXT)Kafka的安全认证机制SASL/PLAINTEXTkafka
紫金小飞侠·2025-05-24 10:48

kafka 集群sasl认证

kafka加密配置1.增加用户密码配置kafka_server_jaas.conf路径：/data/kafka/config/jaas/kafka_server_jaas.confKafkaServer
Mlxg的小号·2025-05-24 10:17

基于 kafka+单节点+ssl 的基础上增加 sasl 配置

基于kafka+单节点+ssl的基础上增加sasl配置一、ssl和sasl简介二、配置kafka安全认证sasl1.创建kafka-server-sasl.conf和kafka-client-sasl.conf
玄振翅·2025-05-24 10:17

kafka配置SASL_PLAINTEXT简单认证

Kafka+ZooKeeper开启SASL_PLAINTEXT认证（PLAIN机制）最全实战教程本教程将手把手教你如何为Kafka配置基于SASL_PLAINTEXT+PLAIN的用户名密码认证机制，包含
胡八一、·2025-05-24 10:46

使用 kafka-console-consumer.sh 指定时间或偏移量消费

1、问题来源在工作中需要观察上游生产的数据顺序和自己写的任务处理数据的顺序是否一致，尝尝需要将kafka中的指定时间或者偏移量开始的数据导出来分析，如果每次都导数据都是从头开消费导全量，往往少则几个G多则几十
小的~~·2025-05-24 10:44

Spring Boot与Kafka集成实践：从入门到精通

SpringBoot与Kafka集成实践：从入门到精通引言在现代微服务架构中，消息队列（MessageQueue）扮演着至关重要的角色，它能够解耦服务之间的依赖，提高系统的可扩展性和可靠性。
Uranus^·2025-05-24 10:14

Kafka配置SASL_SSL JKS鉴权验证方式

Kafka是一个分布式流处理平台，提供了强大的消息传递和处理能力。为了保护Kafka集群的安全性，可以使用SASL_SSL和JKS（JavaKeyStore）鉴权验证方式。
YazIdris·2025-05-24 10:14

Kafka部署指南：基于SSL的SASL_SCRAM安全认证实现

Kafka是一个分布式流处理平台，广泛用于构建可扩展的实时数据流应用程序。在生产环境中，确保Kafka集群的安全性至关重要。
WdzDevops·2025-05-24 10:44

Kafka Producer 如何实现Exactly Once消息传递语义

Exactly-Once(精确一次)是Kafka中最高级别的消息传递语义，确保消息既不会丢失也不会重复。
驾数者·2025-05-24 10:13

【已解决】kafka连接失败，显示本机地址，配置未生效

下班的时候连接kafka一直显示失败，因为自己第一次接触，所以感觉是哪些配置没配置好的原因，找来找去也没解决最后发现是项目配置未生效，未生效的原因是配置文件的缩进顶格了，应该缩进一格写kafka的配置，
生椰拿铁不想输·2025-05-24 10:13

单机Kafka配置ssl并在springboot使用

目录SSL证书生成根证书生成服务端和客户端证书生成keystore.jks和truststore.jks辅助脚本单独生成truststore.jks环境配置hosts文件kafkaserver.properties
LFloyue·2025-05-24 10:11

分布式协调服务 ZooKeeper 深度解析与实战指南

其设计目标是通过简单的接口，解决分布式系统中常见的一致性、可靠性和协作问题，被广泛应用于分布式存储（如HBase）、消息中间件（如Kafka）等场景。
线条1·2025-05-24 08:02

Kafka整合Flume

Kafka与flume1）准备jar包1、将Kafka主目录lib下的如下jar拷贝至Flume的lib目录下kafka_2.10-0.8.2.1.jar、kafka-clients-0.8.2.1.jar
小顽童王·2025-05-24 02:20

电商数仓项目(八) Flume(3) 生产者和消费者配置

目录一、生产数据写到kafka二、消费kafka数据写到hdfs本节讲解Flume生产者和消费者配置。
涛2021·2025-05-24 02:19
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他