E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka原理解析
Kafka
超高并发网络 架构演进过程
我们来深度剖析下「
Kafka
Broker端网络架构和请求处理流程」是如何设计的?相信使用过
Kafka
的朋友都知道其吞吐量可以高达百万,但很少人理解其中的设计原理。
程序员xysam
·
2024-02-04 11:55
kafka
架构
分布式
java
学习
程序人生
大数据入门-大数据技术概述(二)
大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务:Zookeeper2.分布式资源管理器:Yarn3.计算引擎:Spark4.查询引擎:Impala5.分布式消息系统:
Kafka
6
水坚石青
·
2024-02-04 11:11
大数据理论
大数据
spark
kafka
kakfa系统架构
消息队列
Kafka
系统架构Q:什么是
Kafka
?A:
Kafka
是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。
齐爱巴
·
2024-02-04 10:27
系统架构
4R架构理论
一、我们来看看通过4R理论怎么分析
Kafka
Kafka
简要架构图image.pngA)
kafka
顶层结构是
莫妮卡笔记
·
2024-02-04 09:10
消息队列服务
Kafka
揭秘:痛点、优势以及适用场景
摘要:消息队列
Kafka
是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的产品之一,阿里云提供全托管服务,用户无需部署运维
云栖社区v
·
2024-02-04 08:01
Kafka
系列(一)【消息队列、
Kafka
的基本概念、
Kafka
的工作机制、
Kafka
可满足的需求、
Kafka
的特性、
Kafka
的应用场景】
kafka
系列一一、消息队列1.消息队列的来源2.什么是消息队列3.消息队列主要有哪些作用二、
Kafka
的基本概念代理、生产者、消费者、消费者组主题、分区、副本、记录三、了解
Kafka
的工作机制-生产消息
_蓝天IT_
·
2024-02-04 06:57
消息队列(Kafka)
kafka
linq
分布式
Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+
kafka
2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测
####################################################################最新消息:关于spark和Hudi的安装部署文档,本人已经写完,连接:Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.1单机伪分布式安装注意:本篇文章是在本人写的Hadoop+Hive+HBase+Kylin伪分布式安装指南
运维道上奔跑者
·
2024-02-04 05:43
分布式
hbase
zookeeper
hadoop
揭秘
Kafka
高性能之谜:一文读懂背后的设计精粹与技术实现
Kafka
在性能方面有着显著的优势,这也使得
Kafka
的应用非常广泛,那kakfa的性能为何如此优异呢?本文将带你探寻
kafka
高性能之谜。
超越不平凡
·
2024-02-04 00:57
kafka
数据库
分布式
kafka高性能原因分析
Kafka
消息流转的挑战与对策:消息丢失与重复消费问题
消息丢失和重复消费时分布式系统重的常见问题,如果处理不好会对业务造成很大的影响。比如用户下单是通过消息队列处理的,对于用户的订单来说,消息丢失会造成用户下单丢失,影响售卖,如果重复消费,可能会生成多个订单,多卖给了用户货物,影响也很大。所以,消息丢失和重复消费问题对于保证系统健壮性和业务正确性至关重要。需要了解问题出现的原因及各种解决方案。一、消息丢失首先来确定什么地方可能会出现消息丢失的问题。生
超越不平凡
·
2024-02-04 00:26
kafka
分布式
消息丢失和重复消费
kafka
排除zookeeper使用kraft的最新部署方案
kafka
在新版本中已经可以不使用zookeeper进行服务部署,排除zookeeper的部署方案可以节省一些服务资源,这里使用
kafka
_2.13-3.6.1.tgz版本进行服务部署。
腊笔不小新xingo
·
2024-02-03 20:03
kafka
zookeeper
【Springcloud篇】学习笔记七(十三章):Stream消息驱动
第十三章_Stream消息驱动1.消息驱动Stream介绍1.1Stream为什么被引入常见MQ(消息中间件):ActiveMQRabbitMQRocketMQ
Kafka
有没有一种新的技术诞生,让我们不再关注具体
光久li
·
2024-02-03 19:33
Springcloud
spring
cloud
学习
笔记
记一次
Kafka
消费者频繁分区再均衡bug解决
项目背景:两个
Kafka
消费者群组,消费同样的主题,一个消费者群组消费数据后,发给mqtt服务,供其他应用接收;另一个消费者群组消费数据后,存入mysql数据库。
敲代码的小小酥
·
2024-02-03 19:30
日常开发总结
kafka
分布式
【零散知识点总结2】
大部分知识点来源于该博主——骆昊知识点来源于网络,知道的可以在评论区贴上来源喔《零散知识点总结1》该文章涉及:Dubbo、HTTP和HTTPS、Mybatis、Hibernate、Zookeeper、
Kafka
木林森屿城
·
2024-02-03 16:44
java
java
synchronized【如何保证原子性、可见性、有序性】【如何实现原子性
原理解析
】【什么是Monitor】【什么是锁优化】
synchronized如何解决可见性问题?同步原理剖析什么是Monitor?什么是锁优化?转自极客时间如何解决可见性问题?同步原理剖析什么是Monitor?什么是锁优化?
_蓝天IT_
·
2024-02-03 16:10
日记
【Binder】Android 跨进程通信
原理解析
前言在Android开发的过程中,用到跨进程通信的地方非常非常多,我们所使用的Activity、Service等组件都需要和AMS进行跨进程通信,而这种跨进程的通信都是由Binder完成的。甚至一个看似简单的startActivity操作,就有可能发生7次的跨进程通信,不信的话我就带大家走一下Activity的启动流程看看。Activity的启动流程在日常的开发中,我们启动一个Activity通常
一场雪ycx
·
2024-02-03 14:05
Android基础知识
java
android
android
studio
算法
Kafka
速度之谜:高性能的幕后秘密大揭秘
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、
kafka
高性能的原因PageCacheZeroCopy(零拷贝)前言
Kafka
的介绍
kafka
是linkedIn开源的分布式消息系统
代码魔法师Sunny
·
2024-02-03 10:30
MQ
kafka
分布式
KubeBlocks v0.8.0 发布!Component API 让数据库引擎组装更简单!
举个例子,我们可以将etcd和zookeeper这两种数据库做成了标准组件,开发者在定义
Kafka
或者Pulsar等复杂引擎时可以直接引用;再举个例子,我们还可以将Proxy做成了标准组件,开发者在定义各种发行版的
小猿姐
·
2024-02-03 10:51
数据库
kubernetes
云计算
Kafka
核心参数详解
目录消费者分组消费机制生产者拦截器机制消息序列化机制消息分区路由机制生产者消息缓存机制发送应答机制生产者消息幂等性生产者消息事务消息流转模型消费者分组消费机制在Consumer中,需要指定一个GROUP_ID_CONFIG属性,这表示当前Consumer所属的消费者组。他的描述是这样的:publicstaticfinalStringGROUP_ID_CONFIG="group.id";public
山鸟与鱼!
·
2024-02-03 08:12
分布式中间件
kafka
分布式
后端
java
Kafka
常见生产问题详解
目录生产环境常见问题分析消息零丢失方案1、生产者发消息到Broker不丢失2、Broker端保存消息不丢失3、消费者端防止异步处理丢失消息消息积压如何处理如何保证消息顺序问题一、如何保证Producer发到Partition上的消息是有序的问题二:Partition中的消息有序后,如何保证Consumer的消费顺序是有序的生产环境常见问题分析消息零丢失方案1、生产者发消息到Broker不丢失Kaf
山鸟与鱼!
·
2024-02-03 08:12
分布式中间件
kafka
分布式
后端
java
spring
boot
Pull模式和Push模式
例如:在Apache
Kafka
中,Pull模式是
Kafka
新增的方式,使用该模式时,消费者可以自主选择从哪个分区开始拉取消息,并可以自主控制拉取消息的速度。
Kafka
作为消费者维护着一个off
LSYING1
·
2024-02-03 07:02
kafka
java
Debezium发布历史103
原文地址:https://debezium.io/blog/2021/03/18/understanding-non-key-joins-with-quarkus-extension-for-
kafka
-streams
大大蚊子
·
2024-02-03 07:26
debezium
CDC
FlinkCDC
数据库
运维
大数据
常见消息队列:ActiveMQ、RabbitMQ、RocketMQ、
Kafka
的区别总结
目录前言1、常见消息队列1.ActiveMQ2.RabbitMQ3.RocketMQ4.
Kafka
2、区别1.消息传递模型2.消息持久化3.消息顺序性4.可靠性5.生态系统和社区支持6.表格对比前言消息队列可以实现应用程序之间的异步通信
cxzm_1024
·
2024-02-03 07:26
分布式框架
消息队列
flink sql 部署_Flink SQL Client + Mysql CDC 部署实践
1.环境准备目标实现构建一个以FlinkSQLClient为基础,简单的读取mysqlbinlog增量同步数据到
kafka
topic中的Flink任务应用准备清单DockerDesktopwindows
weixin_39934257
·
2024-02-03 06:33
flink
sql
部署
Kafka
_02_Producer详解
Kafka
_02_Producer详解ProducerProducerRecordSend&Close实现原理ProducerInterceptorSerializerPartitioner事务ProducerProducer
爱喝可乐的w
·
2024-02-03 04:29
Kafka
互联网精神
kafka
分布式
Kafka
_03_Consumer详解
Kafka
_03_Consumer详解Consumer消费消息订阅/拉取ConsumerRecord消费位移位移提交位移消费实现原理RebalanceConsumerInterceptorDeSerializer
爱喝可乐的w
·
2024-02-03 04:28
互联网精神
Kafka
kafka
分布式
Debezium系列之:字段schema详解
Debezium系列之:字段schema详解一、字段schema二、字段schema参数解释一、字段schema{"type":"bytes","optional":true,"name":"org.apache.
kafka
.connect.data.Decimal
最笨的羊羊
·
2024-02-03 02:04
debezium
Debezium系列
字段schema详解
黑猴子的家:读取properties配置文件
importjava.util.PropertiesobjectPropertyUtil{valproperties=newPropertiestry{valstream=ClassLoader.getSystemResourceAsStream("
kafka
.properties
黑猴子的家
·
2024-02-03 01:34
CDC 整合方案:Flink 集成 Confluent Schema Registry 读取 Debezium 消息写入 Hudi
本文介绍的整体方案选型是:使用
Kafka
Connect的DebeziumMySQLSourceConnector将MySQL的CDC数据(Avro格式)接入到
Kafka
之后,通过Flink读取并解析这些
Laurence
·
2024-02-03 01:35
大数据专题
付费专栏
flink
hudi
debezium
avro
confluent
schema
registry
基于stm32F4卷积神经网络手写数字识别项目
加我微信hezkz17可以申请加入嵌入式人工智能技术研究开发交流答疑群,赠送企业嵌入式AI图像理解/音/视频项目核心开发资料1采用CNNBP反向传播算法更新权重系数2
原理解析
3实现策略训练与识别分离,先在电脑上训练好
周南音频科技教育学院(AI湖湘学派)
·
2024-02-03 01:35
AI深度学习理论与实践研究
神经网络
音频
人工智能
算法
kafka
-zookeeper集群架构可视化监控,
Kafka
-Eagle安装部署
1、简介在
kafka
-zookeeper集群架构下,zookeeper管理
kafka
的元数据信息,如何监控这些信息,并且能够直观查看和管理
kafka
一些具体主题、分区等参数信息,是非常便于开发的,因此
Kafka
-Eagle
知其_所以然
·
2024-02-03 00:06
kafka
java技术
kafka
zookeeper
架构
spring gateway route超时时间
原理解析
和gateway调用流程
1、HttpClientProperties设置网关路由超时时间/**Theconnecttimeoutinmillis,thedefaultis45s.*/privateIntegerconnectTimeout;/**Theresponsetimeout.*/privateDurationresponseTimeout;2、GatewayAutoConfiguration配置类当用户没有配置h
一把青龙湾月刀
·
2024-02-02 21:58
java
spring
gateway
卡夫卡《变形记》人物小传
作者–弗朗茨·卡夫卡弗朗茨·卡夫卡(Franz
Kafka
)是一位德国语言文学的重要作家,生于1883年7月3日,于1924年6月3日去世。他的作品以其深沉的哲学内涵和对人性困境的揭示而闻名于世。
贾斯汀玛尔斯
·
2024-02-02 21:46
文学
文学
基于scala使用flink将
kafka
数据写入mysql示例
使用Flink消费
Kafka
中ChangeRecord主题的数据,统计每三分钟各设备状态为“预警”且未处理的数据总数。
内向仓鼠
·
2024-02-02 21:10
scala
flink
kafka
windows安装prometheus+grafana
windows-amd64.tar.gz下载后直接解压解压后进入目录运行premetheus.exe,访问端口9090即可,需要查看监控的对象列表可以进入status>targets查看若需要监控服务器资源、数据库、
kafka
Yu_摆摆
·
2024-02-02 20:31
监控
监控类
Flink 的架构与组件
Flink支持各种数据源和接口,如
Kafka
、HDFS、TCP流等,并可以将处理结果输出到各种数据接收器,如HDFS、Elasticsearch、
Kafka
等。
禅与计算机程序设计艺术
·
2024-02-02 20:06
flink
架构
大数据
【代码随想录-链表】环形链表 II
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-02-02 18:48
s6
算法与数据结构
链表
数据结构
SpringBoot使用
Kafka
详解含完整代码
1.前言随着大数据和实时处理需求的增长,
Kafka
作为一种分布式流处理平台,与SpringBoot的集成变得尤为重要。
孤蓬&听雨
·
2024-02-02 18:27
知识库
spring
boot
kafka
MQ
消息队列
webpack的定义及打包
原理解析
webpack的定义:本质上,webpack是一个现代JavaScript应用程序的静态模块打包器(modulebundler)。当webpack处理应用程序时,它会递归地构建一个依赖关系图(dependencygraph),其中包含应用程序需要的每个模块,然后将所有这些模块打包成一个或多个bundle。webpack就像一条生产线,要经过一系列处理流程后才能将源文件转换成输出结果。这条生产线上的
人比黄花嗖
·
2024-02-02 16:34
webpack
webpack
Kafka
集群搭建
Kafka
集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。
莫噶
·
2024-02-02 14:30
搭建
kafka
分布式
Kafka
集群搭建
1、前提条件1、部署
Kafka
集群搭建需要服务器至少3台,奇数台2、
Kafka
的安装需要java环境,jdk1.83、
Kafka
安装包版本:
kafka
_2.11-0.10.0.1.tar.gz4、假设3
那小子、真烦
·
2024-02-02 14:30
KAFKA
kafka
分布式
zookeeper
kafka
集群搭建
本文将记录使用
kafka
镜像,分别在两种场景下搭建3节点集群:1.在一台机器上使用容器方式安装
kafka
集群;2.在三台机器上使用容器方式安装
kafka
集群。
topswim
·
2024-02-02 14:30
kafka
zookeeper
分布式
2023-01-04
帅丙我工作以来接触的消息队列中间件有RocketMQ、
Kafka
、自研,是的因为我主要接触的都是电商公司,相对而言业务体量还有场景来说都是他们比较适合,再加上杭州阿里系公司偏多,身边同事或者公司老大基本都是阿里出来创业的
敲代码的小强
·
2024-02-02 13:00
【
Kafka
】 幂等和事务详解
目录幂等性为什么需要幂等性如何实现幂等性使用幂等幂等性的限制条件幂等性的实现原理事务为什么需要事务开启事务事务保证事务恢复的保证事务原子性的保证事务中Offset的提交保证用于事务特性的控制型消息事务流程事务原理FindCoordinatorRequestInitProducerIdRequest开启事务回话流的处理与转发阶段提交或回滚事务超时事务中止拒绝僵尸实例与分布式事务机制对比事务操作相关配
Ethan-running
·
2024-02-02 12:00
#
kafka
kafka
分布式
消息中间件
Kafka
客户端实战
目录基础客户端引入依赖消息发送者主流程消息消费者主流程SpringBoot集成
Kafka
引入Maven依赖application.properties配置文件通过
Kafka
Template发送消息通过@
山鸟与鱼!
·
2024-02-02 12:29
分布式中间件
kafka
分布式
spring
boot
java
后端
go数据操作-
Kafka
1.下载及安装gogetgithub.com/Shopify/sarama注意事项:saramav1.20之后的版本加入了zstd压缩算法,需要用到cgo,在Windows平台编译时会提示类似如下错误:github.com/DataDog/zstdexec:"gcc":executablefilenotfoundin%PATH%所以在Windows平台请使用v1.19版本的sarama。(如果不会
leellun
·
2024-02-02 12:59
go数据操作
golang
kafka
开发语言
kafka
在做平台项目的时候,需要使用
kafka
去做消息队列去向下位机传送指令来操作下位机。
毛毛的毛毛
·
2024-02-02 12:27
kafka
分布式
Flink 流式读取 Debezium CDC 数据写入 Hudi 表无法处理 -D / Delete 消息
问题场景是:使用
Kafka
Connect的DebeziumMySQLSourceConnector将MySQL的CDC数据(Avro格式)接入到
Kafka
之后,通过Flink读取并解析这些CDC数据,然后以流式方式写入到
Laurence
·
2024-02-02 12:56
大数据专题
flink
hudi
无法处理
delete
changelog
debezium
cdc
【
Kafka
】 存储机制
文件具体结构偏移量索引文件结构时间戳索引文件结构消息日志文件结构查找message过程使用偏移量索引文件使用时间戳索引文件相关配置日志清除及压缩日志清理基于时间基于日志大小基于偏移量日志压缩概述日志压缩实现细节磁盘数据存储顺序写零拷贝页缓存总结日志存储结构总体结构
Kafka
Ethan-running
·
2024-02-02 12:56
#
kafka
kafka
分布式
消息中间件
使用docker部署
Kafka
(MAC Apple M2 Pro)
前置准备下载适用于AppleM2Pro的Zookeeper和
Kafka
Docker镜像dockerpullzookeeper:3.6dockerpullcppla/
kafka
-docker:arm下载成功后确认镜像无误
刘静咩
·
2024-02-02 10:47
docker
kafka
macos
spark题06
1.
kafka
收集数据的原理?2.讲讲列式存储的parquet文件底层格式?3.dataset和dataframe?4scala中trait特征和用法?5.redis和memcache的区别?
博弈史密斯
·
2024-02-02 09:59
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他