E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka】
MQ 消息队列
RabbitMQ一、RabbitMQ介绍二、RabbitMQ核心三、RabbitMQ扩展四、RabbitMQ集群RocketMQ
Kafka
MQ消息队列一、什么是MQMQ(Messagequeue),从字面意思上看
骑士梦
·
2024-01-29 18:03
RabbitMQ
消息队列
ELK集群部署---Zookeeper,
Kafka
集群的部署
1.环境规划:主机名IP地址角色node1192.168.56.111ElasticSearch(master)Zookeeper
Kafka
node2192.168.56.112ElasticSearch
她的名字叫李承利
·
2024-01-29 10:09
ELK/EFK
elasticsearch
kafka
elk
FlinkCdc--Debezium实现
Kafka
实时监控mysql binlog日志
不管是什么大数据组件大部分都分单机和集群模式,这次我配置的是
kafka
集群监控mysqlbinlog日志一.Zookeeper和
Kafka
集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata
chenzhihao
·
2024-01-29 09:08
flink
hive
flink
大数据
【代码随想录-数组】螺旋矩阵 II
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-29 08:54
s6
算法与数据结构
矩阵
线性代数
Kafka
面经 基础篇 (一)
Kafka
面经基础篇(一)最近会持续更新,全文已整理在Github仓库eat-
kafka
,喜欢可以收藏点赞,有问题欢迎指出什么是消息引擎,消息引擎的作用?
ZainZhao
·
2024-01-29 07:32
Kafka
kafka
大数据
面试
从源码分析如何优雅的使用
Kafka
生产者
从源码分析如何优雅的使用
Kafka
生产者前言在上文设计一个百万级的消息推送系统中提到消息流转采用的是
Kafka
作为中间件。其中有朋友咨询在大量消息的情况下Kakfa是如何保证消息的高效及一致性呢?
陈晓阳_矿洞程序员
·
2024-01-29 07:01
java集群如何同步_
Kafka
跨集群同步方案
该方案解决
Kafka
跨集群同步、创建
Kafka
集群镜像等相关问题,主要使用
Kafka
内置的MirrorMaker工具实现。
Kafka
镜像即已有
Kafka
集群的副本。
陈凯瑞
·
2024-01-29 05:10
java集群如何同步
Kafka
-服务端-GroupCoordinator
在每一个Broker上都会实例化一个GroupCoordinator对象,
Kafka
按照ConsumerGroup的名称将其分配给对应的GroupCoordinator进行管理;每个GroupCoordinator
Andy技术支援
·
2024-01-29 05:03
队列
kafka
分布式
Kafka
-服务端-GroupMetadataManager
GroupMetadataManager是GroupCoordinator中负责管理ConsumerGroup元数据以及其对应offset信息的组件。GroupMetadataManager底层使用OffsetsTopic,以消息的形式存储ConsumerGroup的GroupMetadata信息以及其消费的每个分区的offset,如图所示。consumer_offsets的某Partition记
Andy技术支援
·
2024-01-29 05:03
队列
kafka
分布式
Kafka
(九)跨集群数据镜像
跨集群镜像的应用场景1.1区域集群和中心集群1.2高可用(HA)和灾备(DR)1.3监管与合规1.4云迁移1.5聚合边缘集群的数据2多集群架构2.1星型架构2.2双活架构2.2主备架构2.2.1如何实现
Kafka
yunyun1886358
·
2024-01-29 05:02
kafka
分布式
[AIGC 大数据基础] 大数据流处理
Kafka
在这篇博客中,我们将介绍一种流行的大数据流处理工具——
Kafka
,并探讨它在大数据处理中的重要性和应用。文章目录什么是
Kafka
?
Kafka
的应用场景总结什么是
Kafka
?
程序员三木
·
2024-01-29 05:32
大后端
AI
AIGC
大数据
kafka
【高效开发工具系列】Intellj IDEA 2023.3 版本
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-29 04:59
s0
常用工具
intellij-idea
java
ide
kafka
替代者:Redpanda的架构及部署
导读Redpanda完全兼容
Kafka
API,也就是说,开发项目中不需要修改
kafka
客户端相关的代码,可以直接替换掉
kafka
。
Linux资源站
·
2024-01-29 01:47
kafka
架构
java
详解最小化
Kafka
到 ClickHouse 延迟的原理和方法
随着最近我们正式发布了官方
Kafka
连接器,及其在ConfluentCloud中的支持,已经有人联系到我们:咨询将数据从
Kafka
传输到ClickHouseCloud时应该怎么考虑,如何缩短同步的延迟。
ClickHouseDB
·
2024-01-29 01:16
软件工程
kafka
clickhouse
分布式
Kafka
(四)【
Kafka
消费者】
目录前言
Kafka
消费者1、消费方式2、消费者工作流程2.1、消费者总体工作流程2.2、消费者组原理2.2.1、消费者组2.2.2、消费者组初始化流程2.3、消费者重要参数3、消费者API3.1、独立消费者案例
让线程再跑一会
·
2024-01-28 22:10
kafka
kafka
分布式
kafka
消息队列初识
添加消息的依赖org.springframework.
kafka
spring-
kafka
io.projectreactor.
kafka
reactor-
kafka
1.1.0.RELEASE信息队列通信的模式
进击燕子
·
2024-01-28 21:18
Java技术栈 ——
Kafka
入门(二)
Java技术栈——
Kafka
入门(二)一、如何在Java项目中使用
Kafka
?
键盘国治理专家
·
2024-01-28 21:27
Java技术栈
java
kafka
linq
快速了解
Kafka
基础架构
今天来聊下大数据场景下比较流行的消息队列组件
kafka
。本篇文章将主要从理论角度来介绍。
波罗学
·
2024-01-28 21:47
kafka
分布式
【高效开发工具系列】Java读取Html
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-28 21:33
s0
常用工具
java
html
开发语言
Debezium发布历史93
debezium-auto-create-topics/欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯.自动创建Debezium更改数据主题2020年9月15日作者:RenéKerner
kafka
大大蚊子
·
2024-01-28 20:36
debezium
CDC
FlinkCDC
数据库
运维
大数据
kafka
面试题
kafka
如何保证数据不丢失
kafka
是一个用来实现异步消息通讯的中间件,它的整个架构是由Producer和consumer和broke来组成。
黑冰vip
·
2024-01-28 20:57
Java
java
zkClient API
zkClient介绍zkClient是基于原生zookeeper包下开发的客户端,解决原生API出现的超时重连(session失效重连)、重复注册watcher、异常处理.该zkClient已经用在Dubbo,
Kafka
光小月
·
2024-01-28 18:03
4.Doris数据导入导出
导入Doris支持多种数据源导入如S3HDFS
Kafka
本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业,不论是使用BrokerLoad进行批量导入,还是使用INSERT语句进行单条导入
夹毛局的程序员
·
2024-01-28 16:27
doris
doris
python logging 使用
kafka
进行日志收集
kafka
日志处理类importloggingimportjsonfromdatetimeimportdatetimefrom
kafka
import
Kafka
Producerimportsocketimportconfigparser
walk walk
·
2024-01-28 15:18
python
python
kafka
开发语言
spark-streaming与
kafka
的整合
1.概述在2.x中,spark有两个用来与
kafka
整合的代码,版本代号为0.8和0.10,由于在0.8,
kafka
有两套消费者api,根据高级api得到了Receiver-basedApproach,
王大为学习笔记
·
2024-01-28 14:47
Kafka
-服务端-ControllerChannelManager、ControllerContext、ControllerBrokerRequestBatch
ControllerChannelManagerControllerLeader通过发送多种请求管理集群中的其他Broker,
Kafka
Controller使用ControllerChannelManager
Andy技术支援
·
2024-01-28 07:11
队列
kafka
分布式
【
Kafka
】高级特性:消费者
目录消息消费消息消费流程信息注册消息消费消费方式反序列化拦截器消费者原理剖析消费者组和消费者心跳机制消费者位移概述位移管理位移提交再平衡何时发生再平衡避免重平衡再平衡原理消费组状态机参数配置消息消费消息消费流程参考:https://mp.weixin.qq.com/s/v6jUK8TIPi1Debfd40GU3w消费者消费也主要分为两个阶段:信息注册阶段,即整个消费者组向集群注册消费信息等信息消费
Ethan-running
·
2024-01-28 07:39
#
kafka
kafka
消息中间件
分布式
Kafka
入门
文章目录基础架构工作流程文件存储生产者producer消息发送分区策略producer发送消息流程RecordAccumulator(记录累加器)生产者高级设计之自定义数据结构生产者高级设计之内存池设计producerACK是什么Leader何时发送ack?生产者ACK策略Broker副本数据一致性问题follower故障和leader故障AtLeastOnce+幂等性=ExactlyOnceZo
FREE_GIFT_白给怪
·
2024-01-28 07:08
kafka
java
Python网络爬虫实战——实验8:Python爬虫项目部署与
kafka
消息队实战
【实验内容】本实验主要介绍关于在Linux云环境下部署和运行爬虫项目并使用
kafka
发送消息队列。
武汉唯众智创
·
2024-01-28 07:37
Python网络爬虫实战
python
爬虫
kafka
Kafka
-服务端-PartitionLeaderSelector、ReplicaStateMachine
PartitionLeaderSelector通过对前面的分析可知,PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLeaderSelector接口实现,PartitionMachine可以专注于管理分区状态。这是策略模式的一种典型的应用场景。图展示了PartitionLeaderSelector的实现类,这五个不同的实现提供了不同的策略。Pa
Andy技术支援
·
2024-01-28 07:37
队列
kafka
分布式
Java技术栈 ——
Kafka
入门(一)
Java技术栈——
Kafka
入门(一)一、什么是
Kafka
?二、如何安装
Kafka
?一、什么是
Kafka
?
Kafka
是一种消息队列,通过订阅-发布机制可以实现解耦合,用异步处理代替同步处理[1]。
键盘国治理专家
·
2024-01-28 07:07
Java技术栈
java
kafka
开发语言
【
Kafka
】高级特性:主题
目录主题的管理创建主题查看主题修改主题删除主题增加分区分区副本的分配必要参数配置
Kafka
AdminClient应用功能操作示例主题的管理使用
kafka
-topics.sh脚本。
Ethan-running
·
2024-01-28 07:36
#
kafka
kafka
分布式
消息中间件
springboot2.2.9整合
kafka
之
Kafka
Listener实现原理
1、开启
kafka
的注解@Enable
Kafka
通过开启
kafka
注解可以看到Import的类
Kafka
ListenerConfigurationSelector加载一个配置类
Kafka
BootstrapConfiguration
室内篮球
·
2024-01-28 07:36
Kafka
kafka
linq
数据库
kafka
-JVM采集器安装
Kafka
采集器安装说明①下载安装采集器下载采集器,并上传至服务器https://github.com/prometheus/jmx_exporter
kafka
_jmx_exporter.tar.gz②
长空~
·
2024-01-28 07:27
采集器
kafka
jvm
分布式
Zookeeper+
Kafka
+Log4j日志采集与管理系统
1、Zookeeper+
Kafka
+Log4j-日志采集与管理随着系统规模变大和复杂度上升,我们的日志管理变得复杂,一个完整的系统通常会有几十上百个节点。
ff&yy
·
2024-01-28 06:28
Zookeeper+Kafka
中间件
zookeeper
kafka
MQ面试题之
Kafka
本人毕业到现在使用的都是公司内部产品,对于通用产品无实际经验,但是各种消息中间件大差不差,故而本次选择一个相对较熟悉的
Kafka
进行详细介绍。
for62
·
2024-01-28 05:39
面试合集
kafka
分布式
ES面试题合集
前言前文介绍了消息中间件之
Kafka
,我们的知识体系逐渐丰满。本文将继续深入,介绍搜索引擎ES。ES面试题合集Elasticsearch有哪些特性?
for62
·
2024-01-28 05:09
面试合集
elasticsearch
搜索引擎
java 分布式 日志方案_ELK +
kafka
分布式日志解决方案
本文介绍使用ELK(elasticsearch、logstash、kibana)+
kafka
来搭建一个日志系统。
kimi无悔-618
·
2024-01-28 02:37
java
分布式
日志方案
Kafka
的安装部署、基本操作、集群环境
1、
Kafka
的安装部署下载
kafka
kafka
_2.11-2.0.0.tgz安装过程安装过程非常简单,只需要解压就行,因为这个是编译好之后的可执行程序tar-zxvf
kafka
_2.11-2.0.0.
有梦想的虫子_2018
·
2024-01-28 01:46
JVM系列-9.性能调优
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-27 21:19
JVM
jvm
java
开发语言
对于mysql,redis,
Kafka
,zookeeper磁盘缓存技术使用分析
对于mysql,redis,
Kafka
,zookeeper磁盘缓存技术使用分析大部分组件是基于磁盘存储的,但由于CPU速度和磁盘速度之间的鸿沟,都会使用缓存技术来提高性能,缓存简单来说就是一块内存区域,
魏春雨
·
2024-01-27 21:07
MQ消息队列主流消息服务规范及代表产品
市面上消息队列的种类繁多,我们经常在做技术选型的时候,就会搜“RabbitMQ/RocketMQ/
Kafka
…的区别”这样的字眼,为了就是更好地选型,结合业务需求以及消息队列的性能、功能特性、设计规范来综合考虑
c_zyer
·
2024-01-27 18:13
消息队列
中间件
中间件
【代码随想录-数组】移除元素
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-27 18:08
s6
算法与数据结构
java
SpringBoot activemq收发消息、配置及原理
与Springframework相比,SpringBoot更近了一步,通过auto-configuration机制实现了对jms及amqp主流框架如ActiveMQ、RabbitMQ以及
Kafka
的自动配置
weixin_44612246
·
2024-01-27 17:16
java-activemq
spring
boot
activemq
Kafka
-4.1-工作原理综述
1
Kafka
工作原理详解1.1工作流程
Kafka
集群将Record流存储在称为Topic的类中,每个记录由⼀个键、⼀个值和⼀个时间戳组成。
江中散人
·
2024-01-27 16:47
云原生进阶-PaaS专栏
kafka
云原生
paas
中间件
架构
【云原生进阶之PaaS中间件】第三章
Kafka
-2-安装部署
1安装部署1.1
kafka
的分布式
kafka
是依靠zookeeper来实现分布式的,所以再启动前需要先启动zookeeper,如下图1.2集群部署官方下载地址:Apache
Kafka
(1)安装和Hadoop
江中散人
·
2024-01-27 16:16
云原生进阶-PaaS专栏
云原生
paas
中间件
kafka
zookeeper
【云原生进阶之PaaS中间件】第三章
Kafka
-3-命令操作
1命令操作1.1主题命令操作查看操作主题命令参数:[atguigu@hadoop102
kafka
]$bin/
kafka
-topics.sh参数描述--bootstrap-server,连接的
Kafka
Broker
江中散人
·
2024-01-27 16:16
云原生进阶-PaaS专栏
云原生
paas
中间件
Kafka
消息队列
【Spring连载】使用Spring访问 Apache
Kafka
(十六)----空payload和‘Tombstone‘记录的日志压缩
【Spring连载】使用Spring访问Apache
Kafka
(十六)----空payload和'Tombstone'记录的LogCompaction当你使用LogCompaction时,你可以发送和接收具有空
85程序员老王
·
2024-01-27 16:26
spring
apache
kafka
【Spring连载】使用Spring访问 Apache
Kafka
(十七)----处理异常
【Spring连载】使用Spring访问Apache
Kafka
(十七)----处理异常HandlingExceptions一、监听器错误处理程序ListenerErrorHandlers二、容器错误处理程序
85程序员老王
·
2024-01-27 16:26
spring
kafka
java
【Spring连载】使用Spring访问 Apache
Kafka
(十八)----非阻塞重试
【Spring连载】使用Spring访问Apache
Kafka
(十八)----非阻塞重试Non-BlockingRetries一、HowThePatternWorks二、BackOffDelayPrecision
85程序员老王
·
2024-01-27 16:26
spring
kafka
数据库
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他