E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka专区
tidb实时同步到mysql
测试直接通过tidbcdc写入到mysql,有些字段是null,所以中间加了一个
kafka
实现客户库中创建表CREATETABLEtb_1(idbigintprimarykey,cidbigint,gidbigint
·
2025-02-20 21:02
数据库
docker部署
kafka
(单节点) + Springboot集成
kafka
DockerDesktop4.21.1(114176)、DockerEnginev24.0.2SpringBoot:2.7.15步骤1:创建网络:dockernetworkcreate--subnet=172.18.0.0/16net-
kafka
wsdhla
·
2025-02-20 17:18
docker
kafka
spring
boot
zookeeper
【Python系列】Python 解释器的站点配置
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
Kwan的解忧杂货铺@新空间代码工作室
·
2025-02-20 14:22
s1
Python
python
开发语言
如何备战软考网络工程师?
互联网各领域资料分享
专区
(不定期更新):Sheet前言软考网络工程师属于中级资格考试,通过这个考试来获得职称或者提升自己的专业技能。软考网络工程师的考试内容和结构。
互联网之路.
·
2025-02-20 11:46
知识点
网络
Kafka
Raft知识整理
背景
Kafka
2.8之后,移除了Zookeeper,而使用了自己研发的
Kafka
Raft。为什么移除Zookeeper?
自东向西
·
2025-02-19 17:23
Kafka
知识整理
kafka
分布式
Kafka
topic、producer、consumer的基础使用
文章目录
Kafka
初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据
Kafka
初级前言关于
kafka
的集群安装这里就先跳过,如果需要相关资料以及学习视频的可以在留言下留下联系信息(邮箱
病妖
·
2025-02-19 17:22
Kafka
kafka
big
data
分布式
kafka
消费能力压测:使用官方工具
背景在之前的业务场景中,我们发现
Kafka
的实际消费能力远低于预期。尽管我们使用了
kafka
-go组件并进行了相关测试,测试情况见《
kafka
-go:性能测试》这篇文章。
ezreal_pan
·
2025-02-19 16:16
kafka
工具
kafka
分布式
Kafka
的生产者和消费者模型
Kafka
的生产者和消费者模型是一种消息传递模式,以下是该模型的详细描述:一、生产者(Producer)定义:生产者是消息的生产者,它将消息发布到
Kafka
的主题(Topic)中。
Java资深爱好者
·
2025-02-19 16:15
kafka
分布式
阶段 1:
Kafka
基础认知
核心知识点
Kafka
三大核心角色:Producer(生产者):负责向
Kafka
topic推送数据。可以理解为数据流的发起者。Broker:
Kafka
服务器节点,负责存储数据流。
AI航海家(Ethan)
·
2025-02-19 16:13
分布式
kafka
kafka
分布式
正式开源:使用
Kafka
FDW 加载数据到 Apache Cloudberry™
ApacheCloudberry™(Incubating)由GreenplumDatabase核心开发者创建,是一款领先且成熟的开源大规模并行处理(MassivelyParallelProcessing,MPP)数据库。它基于开源版的PivotalGreenplumDatabase®衍生而来,但采用了更新的PostgreSQL内核,并具备更先进的企业级功能。Cloudberry可以作为数据仓库使用
·
2025-02-19 15:58
数据库开源软件
从家用电脑到数据中心需要经过哪些层级?
互联网各领域资料分享
专区
(不定期更新):Sheet正文(博主声明:信息仅供参考,各地方架构可能有差异)从家用电脑到数据中心的通信需要经过多个网络层级和物理/逻辑设备,这些层级共同协作以确保数据的可靠传输
互联网之路.
·
2025-02-19 09:48
智能路由器
网络
网络共享基于什么原理,为什么MAC可以编辑局域网的windows系统文件?
互联网各领域资料分享
专区
(不定期更新):Sheet正文网络共享的实现原理及跨平台文件编辑能力主要基于以下几点:网络共享的核心原理文件共享协议:通过SMB/CIFS(Windows默认)、NFS(Unix
互联网之路.
·
2025-02-19 09:18
知识点
macos
windows
正常场景下M-LAG的流量转发机制
互联网各领域资料分享
专区
(不定期更新):Sheet正常场景下M-LAG的流量转发机制M-LAG建立成功后进入正常的工作,M-LAG主备设备负载分担共同进行流量的转发。
互联网之路.
·
2025-02-19 09:47
知识点
网络
数据库
RabbitMQ,RocketMQ,
Kafka
消息模型对比分析
消息模型消息队列的演进消息队列模型早期的消息队列是按照”队列”的数据结构来设计的。生产者(Producer)产生消息,进行入队操作,消费者(Consumer)接收消息,就是出队操作,存在于服务端的消息容器就称为消息队列。当然消费者也可能不止一个,存在的多个消费者是竞争的关系,消息被其中的一个消费者消费了,其它的消费者就拿不到消息了。发布订阅模型如果一个人消息想要同时被多个消费者消费,那么上面的队列
Java架构设计
·
2025-02-19 06:57
java
Java程序员
消息模型
开发语言
程序人生
Kafka
日志文件探秘:从数据解析到故障排查的完整指南
#作者:猎人文章目录1、查看Log文件基本数据信息2、index文件健康性检查(--index-sanity-check)3、转储文件(--max-message-size)4、偏移量解码(--offsets-decoder)5、日志数据解析(--transaction-log-decoder)6、查询Log文件具体数据(--print-data-log)7、查看index文件具体内容8、查看ti
磐基Stack专业服务团队
·
2025-02-19 04:06
Kafka
kafka
分布式
消息队列简述
当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、
Kafka
、ZeroMQ、MetaMq等,而部分数据库如Redis、Mysql以及
八二年的栗子
·
2025-02-18 18:39
java
玩转网页交互:用JavaScript打造灵动手风琴特效
在电商网站的商品详情页,在知识平台的问答
专区
,甚至在个人作品集网站,手风琴特效都扮演着重
skyksksksksks
·
2025-02-18 16:26
综合个人杂记
javascript
交互
jquery
html5
css
前端
kafka
搭建
文章目录前言一、
kafka
是什么?
瀟湘夜雨-秋雨梧桐
·
2025-02-18 15:19
kafka
分布式
zookeeper
大数据
数据仓库
Spring Boot 整合
Kafka
详解
前言:上一篇分享了
Kafka
的一些基本概念及应用场景,本篇我们来分享一下在SpringBoot项目中如何使用
Kafka
。
码农爱java
·
2025-02-18 15:17
Kafka
Kafka
MQ
Spring
Boot
微服务
中间件
1024程序员节
第十八篇
首页新闻博问
专区
闪存班级我的博客我的园子账号设置退出登录注册登录个人公众号交流:bigsaibigsai博客园首页新随笔联系订阅管理随笔-46文章-0评论-67八大排序算法—16张图搞懂基数排序原创公众号
zch001104
·
2025-02-18 06:44
linux 搭建
kafka
集群
ipnode1192.168.72.132node2192.168.72.133node3192.168.72.1342、安装jdklinux环境安装jdk_openjdk1.8.0_345-CSDN博客3、下载
kafka
节点。csn
·
2025-02-17 21:04
linux
kafka
运维
【Redis系列】Redis安装与使用
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
m0_74825409
·
2025-02-17 17:53
面试
学习路线
阿里巴巴
redis
数据库
缓存
Flink在指定时间窗口内统计均值,超过阈值后报警
物联网设备的数据从
kafka
中读取,配置数据从mysql中读取,有个管理后台可以调整窗口和阈值大小。2、思路使用flink的双流join,配置数据使用广播流,设备数据使用普通流。
小的~~
·
2025-02-17 17:49
flink
均值算法
大数据
【动态路由】系统Web URL资源整合系列(后端技术实现)【apisix实现】
反向代理功能(描述:apollo、eureka控、apisix、sentinel、普米、kibana、timetask、grafana、hbase、skywalking-ui、pinpoint、cmak界面、
kafka
-map
飞火流星02027
·
2025-02-17 07:23
URL整合
apisix反向代理
apisix网关
apisix实现web资源整合
系统URL资源整合
apisix基于请求参数的路由
apisix基于请求头的路由
APISIXDashboard
Apache ZooKeeper 分布式协调服务
1.1定义与定位核心定位:分布式系统的协调服务,提供强一致性的配置管理、命名服务、分布式锁和集群管理能力核心模型:基于树形节点(ZNode)的键值存储,支持Watcher监听机制生态地位:Hadoop/
Kafka
slovess
·
2025-02-17 04:33
分布式
apache
zookeeper
深入理解
Kafka
—如何保证Exactly Once语义
作者:禅与计算机程序设计艺术1.简介
Kafka
是一种高吞吐量、分布式、可分区、多副本的消息系统。它在使用上非常灵活,可以作为Pulsar、RabbitMQ的替代品。
AI天才研究院
·
2025-02-17 03:22
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
【
kafka
系列】生产者
目录发送流程1.流程逻辑分析阶段一:主线程处理阶段二:Sender线程异步发送核心设计思想2.流程关键点总结重要参数一、核心必填参数二、可靠性相关参数三、性能优化参数四、高级配置五、安全性配置(可选)六、错误处理与监控典型配置示例关键注意事项发送流程序列化与分区:消息通过Partitioner选择目标分区(默认轮询或哈希),序列化后加入RecordAccumulator缓冲区。批次合并:Sende
漫步者TZ
·
2025-02-17 02:21
kafka
kafka
数据库
大数据
【
kafka
系列】broker
目录Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程Broker处理消费者消息的核心流程关键点总结Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程接收请求Broker的SocketServer接收来自生产者的ProduceRequest(基于Reactor网络模型)。请求解析与验证解析请求头(Topic、P
漫步者TZ
·
2025-02-17 02:21
kafka
数据库
分布式
kafka
【
kafka
系列】如何选择消息语义?
目录业务权衡如何选择消息语义?业务权衡维度At-Most-OnceAt-Least-OnceExactly-Once消息丢失风险高低无消息重复风险无高无网络开销最低(无重试)中等(可能重试)最高(事务+协调)适用场景可容忍丢失的实时数据流不允许丢失的日志采集金融交易、精准统计如何选择消息语义?At-Most-Once:优先性能与低延迟,接受数据丢失(如实时监控)。At-Least-Once:优先可
漫步者TZ
·
2025-02-17 02:49
kafka
kafka
分布式
数据库
大数据
kafka
动态监听主题
简单版本importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.
kafka
.core.ConsumerFactory
S Y H
·
2025-02-16 23:27
微服务组件
kafka
linq
分布式
【
kafka
系列】Exactly Once语义
目录1.Exactly-Once语义的定义2.
Kafka
实现Exactly-Once的机制3.端到端Exactly-Once示例场景描述3.1生产者配置与代码3.2消费者配置与代码4.异常场景与Exactly-Once
漫步者TZ
·
2025-02-16 19:57
kafka
kafka
数据库
大数据
分布式
【Golang学习之旅】Go 语言微服务架构实践(gRPC、
Kafka
、Docker、K8s)
文章目录1.前言:为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战1.2为什么选择Go语言构建微服务架构2.Go语言简介2.1Go语言的特点与应用2.2Go语言的生态系统3.微服务架构中的gRPC实践3.1什么是gRPC?3.2gRPC在Go语言中的实现1.前言:为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战随着互联网技术的飞速发展,尤其是云计算的普及,微服务架构已经成为
程序员林北北
·
2025-02-16 09:40
架构
golang
学习
微服务
云原生
kafka
zipkin备忘
server安装https://zipkin.io/pages/quickstart.html这里提供了几种安装方式当天他可以吧数据方存cassandra,
kafka
,es,等地方服务器直接下载curl-sSLhttps
dzl84394
·
2025-02-16 06:18
springboot学习
日志
java
zipkin
org.apache.
kafka
.common.errors.TimeoutException
个人博客地址:org.apache.
kafka
.common.errors.TimeoutException|一张假钞的真实世界使用
kafka
-console-producer.sh向远端
Kafka
写入数据时遇到以下错误
一张假钞
·
2025-02-16 03:56
apache
kafka
分布式
kafka
的
kafka
-console-consumer.sh和
kafka
-console-producer.sh如何使用
一、两款工具对比功能用途
kafka
-console-consumer.sh是简单的命令行消费者工具,主要用于在控制台显示从
Kafka
主题消费的消息,适用于测试生产者是否正常发送消息、查看消息格式等调试场景
WilsonShiiii
·
2025-02-16 03:56
kafka
分布式
RocketMQ与
kafka
如何解决消息积压问题?
主要介绍两款产品RocketMQ和
Kafka
的解决方式,以及其差异,本质上的差异就是RocketMQ与
Kafka
之间的存储结构差异带来的,基本的处理思路还是怎么控制生产
一个儒雅随和的男子
·
2025-02-16 03:54
RocketMQ
rocketmq
kafka
分布式
浅聊MQ之
Kafka
与RabbitMQ简用
Kafka
与RabbitMQ的使用举例
Kafka
的使用举例安装与启动:从Apache
Kafka
官网下载
Kafka
中间件的运行脚本。
天天向上杰
·
2025-02-16 03:24
kafka
rabbitmq
分布式
浅聊MQ之
Kafka
、RabbitMQ、ActiveMQ、RocketMQ持久化策略
以下是主流消息队列(
Kafka
、RabbitMQ、ActiveMQ、RocketMQ)的持久化策略详解及实际场景示例:1.
Kafka
持久化策略核心机制:日志分段存储:每个Topic分区对应一个物理日志文件
天天向上杰
·
2025-02-16 03:24
kafka
rabbitmq
activemq
rocketmq
java
《Python全栈开发:构建高并发物联网数据中台实战》
系统采用微服务架构,核心功能包括:百万级设备并发接入(基于MQTT协议)实时流数据处理(Apache
Kafka
+Faust)时序数据存储(InfluxDB+Redis)智能告警引擎(规则引擎+机器学习)
放氮气的蜗牛
·
2025-02-15 22:15
深度博客
python
物联网
开发语言
隨筆 20241023
Kafka
事务
Kafka
事务概述原子性要求:在需要将数据同时发送到多个broker中的不同分区时,使用事务可以确保这些操作具备原子性,确保要么全部成功,要么全部失败。
靈臺清明
·
2025-02-15 07:18
数据库
【Apache Paimon】-- 16 -- 利用 paimon-flink-action 同步
kafka
数据到 hive paimon 表中
目录引言CDC技术概述2.1什么是CDC2.2CDC的应用场景
Kafka
作为CDC数据源的原理与优势3.1
Kafka
的基本架构3.2
Kafka
在CDC中的角色
oo寻梦in记
·
2025-02-13 14:02
Apache
Paimon
apache
flink
kafka
apache
paimon
paimon
Kafka
的缺点是什么?使用场景有什么区别?
目录RocketMQ的缺点
Kafka
的缺点RocketMQ和
Kafka
的使用场景区别RocketMQ的使用场景
Kafka
的使用场景总结RocketMQ的缺点
Kafka
的缺点1.消息顺序保证能力有限2.消息事务功能相对较弱
点滴~
·
2025-02-13 05:49
rocketmq
kafka
分布式
百万架构师第三十六课:
kafka
:
Kafka
Manage|JavaGuide
[root@nogeeksoftware]#[root@nogeeksoftware]#cd
kafka
-manager-master/conf/[root@nogeekconf]#vimapplication.conf
·
2025-02-12 22:41
后端
kafka
数据检索_
Kafka
日志分段与消息查找
Kafka
作为一个消息中间件(后面
Kafka
逐渐转向一个流失处理平台
Kafka
Stream),消息最终的存储都落在日志中。
铺地板
·
2025-02-12 22:28
kafka数据检索
30分钟带你图解
Kafka
生产者初始化核心流程
认真读完这篇文章,我相信你会对
Kafka
生产初始化源码有更加深刻的理解。这篇文章干货很多,希望你可以耐心读完。
Java面试_
·
2025-02-12 21:54
Java
kafka
java
分布式
消息队列之事务消息,RocketMQ 和
Kafka
是如何做的?
今天我们来谈一谈消息队列的事务消息,一说起事务相信大家都不陌生,脑海里蹦出来的就是ACID。通常我们理解的事务就是为了一些更新操作要么都成功,要么都失败,不会有中间状态的产生,而ACID是一个严格的事务实现的定义,不过在单体系统时候一般都不会严格的遵循ACID的约束来实现事务,更别说分布式系统了。分布式系统往往只能妥协到最终一致性,保证数据最终的完整性和一致性,主要原因就是实力不允许...因为可用
90后小伙追梦之路
·
2025-02-12 21:24
java
面试
架构
kafka
java-rocketmq
rocketmq
java
面试
Flink
Kafka
Consumer offset是如何提交的
一、fllink内部配置client.id.prefix,指定用于
Kafka
Consumer的客户端ID前缀partition.discovery.interval.ms,定义
Kafka
Source检查新分区的时间间隔
红烛暗盗梦
·
2025-02-12 21:23
flink
大数据
关于
kafka
中的timestamp与offset的对应关系
关于
kafka
中的timestamp与offset的对应关系@(
KAFKA
)[storm,
kafka
,大数据]关于
kafka
中的timestamp与offset的对应关系获取单个分区的情况同时从所有分区获取消息的情况结论如何指定时间出现
jediael_lu
·
2025-02-12 21:22
X.1大数据
【
Kafka
】
Kafka
配置参数详解
Kafka
配置参数详解
Kafka
得安装与基本命令
Kafka
配置参数
kafka
生产者配置参数
kafka
消费者配置参数本篇文章只是做一个转载的作用以方便自己的阅读,文章主要转载于:
Kafka
核心配置参数与机制一文版权声明
飝鱻.
·
2025-02-12 21:52
Kafka
kafka
分布式
big
data
kafka
和RocketMQ的区别
今天面试字节被问到的问题,当时没有回答好,现在再重新梳理一下两者都是消息系统,但是
kafka
已经升级为了流处理平台RocketMQ的出现是因为
kafka
不支持在交易、订单、充值等场景下许多特性,于是阿里编写了
handong106324
·
2025-02-12 21:51
面试
面试
kafka
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他