E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka】
【Spring连载】使用Spring访问 Apache
Kafka
(十)----监控
【Spring连载】使用Spring访问Apache
Kafka
(十)----监控Monitoring一、监控监听器性能MonitoringListenerPerformance二、监控
Kafka
Template
85程序员老王
·
2024-01-27 16:56
spring
apache
kafka
【Spring连载】使用Spring访问 Apache
Kafka
(十一)----事务
【Spring连载】使用Spring访问Apache
Kafka
(十一)----事务Transactions一、概览二、使用
Kafka
TransactionManager三、事务同步TransactionSynchronization
85程序员老王
·
2024-01-27 16:56
spring
apache
kafka
【Spring连载】使用Spring访问 Apache
Kafka
(六)----应用程序事件
【Spring连载】使用Spring访问Apache
Kafka
(六)----应用程序事件ApplicationEvents一、检测空闲和无响应的Consumers二、事件消费EventConsumption
85程序员老王
·
2024-01-27 16:55
spring
kafka
java
【Spring连载】使用Spring访问 Apache
Kafka
(七)----Topic/Partition初始偏移量&定位到特定的偏移量
【Spring连载】使用Spring访问Apache
Kafka
(七)----Topic/Partition初始偏移量&定位到特定的偏移量一、Topic/Partition的初始偏移量InitialOffset
85程序员老王
·
2024-01-27 16:55
spring
kafka
java
【Spring连载】使用Spring访问 Apache
Kafka
(三)----接收消息
【Spring连载】使用Spring访问Apache
Kafka
(三)----接收消息一、消息监听器MessageListeners二、消息监听器容器MessageListenerContainers2.1
85程序员老王
·
2024-01-27 16:25
spring
apache
kafka
【Spring连载】使用Spring访问 Apache
Kafka
(十五)----消息头
【Spring连载】使用Spring访问Apache
Kafka
(十五)----消息头MessageHeadersApache
Kafka
client中提供了对消息中headers的支持。
85程序员老王
·
2024-01-27 16:53
spring
apache
kafka
flume+
kafka
+SparkStreaming+mysql+ssm+高德地图热力图项目
第一步、编写python脚本,产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200
·
2024-01-27 12:24
Kafka
面试题
0.思维导图
Kafka
是一个分布式的基于发布/订阅模式的消息队列,主要用于大数据实时处理邻域 消息队列分为点对点模式(消费者主动拉取数据,消息收到后清除消息)和发布订阅模式(消费者消费数据之后,不删除数据
韩顺平的小迷弟
·
2024-01-27 10:33
大数据面试题
kafka
分布式
kafka
summary
最近整体梳理之前用到的一些东西,回顾
Kafka
的时候好多东西都忘记了,把一些自己记的比较模糊并且感觉有用的东西整理一遍并且记忆一遍,仅用于记录以备后续回顾
Kafka
的哪些场景中使用了零拷贝生产者发送消息
会说话的皮卡丘
·
2024-01-27 09:22
kafka
分布式
电商系统设计到开发03 引入
Kafka
异步削峰
一、前言系统设计:电商系统设计到开发01第一版设计到编码-CSDN博客接着上篇文章:电商系统设计到开发02单机性能压测-CSDN博客本篇为大制作,内容有点多,也比较干货,希望可以耐心看看已经开发的代码,并对其下单接口进行了压力测试压力测试,该接口一个请求需要查询数据库4次,更新4次,插入2次,总共访问数据库10次,其中2个事务,3次查询是加锁查询,还有1次rpc请求,单实例情况下吞吐量为110/s
风萧萧兮s
·
2024-01-27 09:15
电商下单并发研究
kafka
分布式
java
easy-upsert-starter 轻量级数据转换存储服务-MySQL使用(二)
easy-upsert-starter轻量级数据转换存储服务简介:针对轻量级数据(单次包数据量10万)处理,提供数据转移存储到MySQL、
Kafka
、ES、HBase、Redis配置相应的数据源,注入IUpser
还在忙碌的吴小二
·
2024-01-27 09:46
SpringBoot
MySQL
mysql
java
Kafka
-服务端-PartitionStateMachine
PartitionStateMachine是ControllerLeader用于维护分区状态的状态机。分区的状态是通过PartitionState接口定义的,它有四个子类分别代表了分区四种可能的状态,如表所示。分区各个PartitionState之间的转换如图所示。下面分析各个状态之间转换时,需要完成的相关操作。NonExistentPartition→NewPartition从ZooKeeper
Andy技术支援
·
2024-01-27 08:53
队列
kafka
debian
分布式
知识库-
kafka
shell脚本用法
脚本名称用途描述connect-distributed.sh连接
kafka
集群模式connect-standalone.sh连接
kafka
单机模式
kafka
-acls.shtodo
kafka
-broker-api-versions.shtodo
kafka
-configs.sh
知秋ing
·
2024-01-27 08:52
kafka从入门到精通
kafka
分布式
shell脚本--
kafka
生产数据
直接上代码
kafka
参数修改成自己的配置。#!
手提青灯觅佳人
·
2024-01-27 08:52
大数据通用
shell
kafka
Kafka
zookeeper-shell.sh
bin/zookeeper-shell.sh作用是连接zookeeper,并通过命令查询注册的信息,本质上就是zookeeper的语法。bin/zookeeper-shell.shzookeeper_host:port[/path][args…]args参数类型如下statpath[watch]setpathdata[version]lspath[watch]delquota[-n|-b]path
云川之下
·
2024-01-27 08:18
kafka
kafka
【shell-10】shell实现的各种
kafka
脚本
kafka
-shell工具背景日志log一.启动
kafka
->(start-
kafka
)二.停止
kafka
->(stop-
kafka
)三.创建topic->(create-topic)四.删除topic
我先森
·
2024-01-27 08:41
shell
kafka
kafka
linq
分布式
Flink生产环境相关问题
1.Flink+
Kafka
保证精确一次消费相关问题?Fink的检查点和恢复机制和可以重置读位置的source连接器结合使用,比如
kafka
,可以保证应用程序不会丢失数据。
大数据左右手
·
2024-01-27 08:09
Flink
面试
flink
JVM系列-8.GC调优
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-27 08:06
JVM
jvm
java
开发语言
JVM系列-7内存调优
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-27 08:32
JVM
jvm
java
开发语言
0806-
Kafka
异地复制
Kafka
异地同步:Mirror-Maker(消费者+生产者)原理大概是启动consumer消费南京的topicmessage,发送到重庆的
kafka
集群。
红苹果_小米粒
·
2024-01-27 08:04
Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )
本文介绍的场景是:使用
Kafka
Connect的DebeziumMySQLSourc
Laurence
·
2024-01-27 06:54
大数据专题
付费专栏
flink
cdc
debezium
avro
confluent
schema-registry
kafka
37.Java连接
Kafka
37.1实验环境Intellij已安装且正常运行Maven环境正常RedHat7.2CM和CDH版本为5.11.2
Kafka
2.2.0-0.10.2创建topic,test3有3个replication
大勇任卷舒
·
2024-01-27 06:40
RocketMQ-同城双活-高可用架构-同程旅行
背景介绍为何选择RocketMQ我们在几年前决定引入MQ时,市场上已经有不少成熟的解决方案,比如RabbitMQ,ActiveMQ,NSQ,
Kafka
等。
无心六神通
·
2024-01-27 04:59
RocketMQ
rocketmq
架构
同城双活
高可用
【代码随想录-数组】二分查找
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-27 04:58
s6
算法与数据结构
java
Kafka
3.0源码学习
内存池3、sender线程发送数据二、消费者源码1、初始化2、消费者订阅主题3、消费者拉取和处理数据3.1消费总体流程3.2消费者/消费者组初始化3.3拉取数据3.4消费者Offset提交三、服务端源码
kafka
魅Lemon
·
2024-01-27 04:25
大数据
kafka
【代码随想录-数组】有序数组的平方
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,
kafka
,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂
·
2024-01-27 03:24
s6
算法与数据结构
java
实时分析海量新数据的难点 和解决方案
解决方案:使用分布式计算和存储技术,如Hadoop、Spark、
Kafka
等,将数据分散存储在多个节点上,同时进行分布式计算和处理,以实现数据的实时处理和分析。2.数据质量的保障:海量新
云台095
·
2024-01-27 03:40
大数据的应用
大数据
kafka
多线程消费及处理和手动提交处理方案设计
kafka
与其他消息队列不同的是,
kafka
的消费者状态由外部(消费者本身或者类似于Zookeeper之类的外部存储)进行维护,所以
kafka
的消费就更加灵活,但是也带来了很多的问题,因为客户端消费超时被判定挂掉而消费者重新分配分区
达微
·
2024-01-27 01:38
[MQ]常用的mq产品图形管理web界面或客户端
1.2MQ产品较为成熟的MQ产品:IBMMQ(IBMWebSphereMQ),ActiveMQ,RabbitMQ,
Kafka
,RocketMQ,ZeroMQ,MetaMQ等。
穿山甲yyds
·
2024-01-27 01:05
开发语言
中间件
Apache Pulsar——协议适配器
背景为了能平滑、不改写代码、无侵入地迁移应用使用pulsar,KoP以插件形式支持
Kafka
协议。
小波同学
·
2024-01-26 22:17
多云与混合云场景下的数据同步方案-
KAFKA
1企业业务系统部署架构的变化趋势-多云与混合云现阶段,企业信息系统部署架构(DA:Deployarchitecture)的一大变化是,越来越多的企业在不断将越来越多的应用部署到云上,即业务系统上云的趋势愈演愈烈。不过企业业务系统上云不是一蹴而就的,也不是单向的一帆风顺的。这里涉及到新开发的业务系统的主动上云(由于是采用云原生技术栈新开发的业务系统,其上云相对顺畅些),也包括历史遗留系统的迁移上云(
明哥的IT随笔
·
2024-01-26 21:29
分布式
kafka
java
storm
zookeeper
解密:消息中间件的选择与使用:打造高效通信枢纽
什么是消息中间件1.2消息中间件的作用1.3消息中间件的分类第二章:消息中间件的选择标准2.1性能2.2可靠性2.3可扩展性2.4易用性2.5社区支持2.6成本第三章:常见的消息中间件对比3.1Apache
Kafka
3.1.1
凛鼕将至
·
2024-01-26 20:59
java
开发语言
中间件
数据中台搭建之安装JDK,zookeeper,
kafka
1.背景接上篇博客搭建数据中台之安装mysql,在此基础上安装其他环境2.准备上传包到主节点上3.解压、安装、修改配置文件3.1解压JDKtar-xvfjdk-8u181-linux-x64.gz3.2移动到/usr/local/jdk目录下mv····/usr/local/jdk3.3解压zookeepertar-zxvfzookeeper-3.4.5.tar.gz3.4移动到/usr/loca
CayongL
·
2024-01-26 20:20
zookeeper
kafka
jdk1.8
ELK 8.8.1 +
Kafka
2.5.0 日志收集架构部署
ELK8.8.1+
Kafka
2.5.0日志收集架构部署服务版本节点角色分布服务兼容性JDK特殊性官方文档库系统优化部署ES集群1.下载ES源码包2.调整配置文件\$ES\_HOME/config/elasticsearch.yml3
JP.Hu
·
2024-01-26 19:01
ELK
elk
kafka
架构
Flink 基础入门
前言SparkStreaming准确来说算是一个微批处理伪实时的做法,可是Flink是真的来一条就会处理一条,而且在SparkStreaming和
Kafka
进行整合时我们需要手动去管理偏移量的问题,而在
IT领域君
·
2024-01-26 19:28
【Java程序员面试专栏 专业技能篇】
Kafka
核心面试指引
关于
Kafka
部分的核心知识进行一网打尽,包括
Kafka
的基本概念,基本架构,工作流程,存储机制,生产策略和消费策略,通过一篇文章串联面试重点,并且帮助加强日常基础知识的理解,全局思维导图如下所示基本概念从
存在morning
·
2024-01-26 18:50
Java
程序员面试专栏
java
面试
kafka
面试题-【消息队列】
消息队列问题1如何进行消息队列的技术选型优点解耦(pub/sub模型)异步(异步接口性能优化)削峰使用消息队列的缺点几种消息队列的特性问题2引入消息队列之后该如何保证其高可用性RabbitMQ的高可用
kafka
谷新龙001
·
2024-01-26 16:35
面试题
消息队列
active mq topic消费后删除_Spring cloud stream 整合mq
说明:本案例win10环境测试scs(springcloudstream)整合kfk(
kafka
)/rbt(rabbitmq)消息生产消费场景流程一、准备中间件环境(kfk/rbt)后续内容提供kfk与
weixin_39794340
·
2024-01-26 15:35
active
mq
topic消费后删除
mq消费者组
springboot整合es
SpringCloudStream整合MQ(待完善)
概念SpringCloudStream的主要目标是各种各样MQ的学习成本,提供一致性的编程模型,使得开发者能够更容易地集成消息组件(如Apache
Kafka
、RabbitMQ、RocketMQ)官网地址
kk_0910
·
2024-01-26 14:27
springcloud
IBM MQ和
kafka
区别
IBMMQ
Kafka
连接方式socket长连接socket长连接使用方式发布/订阅或者点对点Queue方式,QUEUE只能消费一次,可以用作socket通讯发布/订阅方式
智慧健康
·
2024-01-26 14:04
消息中间件
IBM
MQ
1024程序员节
Spring-
Kafka
3.0 消费者消费失败处理方案
一、背景我们作为
Kafka
在使用
Kafka
是,必然考虑消息消费失败的重试次数,重试后仍然失败如何处理,要么阻塞,要么丢弃,或者保存二、设置消费失败重试次数1默认重试次数在哪里看
Kafka
3.0版本默认失败重试次数为
风萧萧兮s
·
2024-01-26 14:33
Kafka
spring
kafka
java
SpringBoot 3.1.7 集成
Kafka
3.5.0
一、背景写这边篇文章的目的,是记录我在集成
kafka
客户端遇到的一些问题,文章会记录整个接入的过程,其中会遇到几个坑,如果需要最终版本,直接看最后一节就行了,感觉Spring-
Kafka
的文档太少了,如果采用
风萧萧兮s
·
2024-01-26 14:28
Spring
Cloud
spring
boot
kafka
MQ回顾之
kafka
速通
不定期更新官网概念自查官网:Apache
Kafka
kafka
结构和
kafka
相关的关键名词有:Producer、Broker、Topic、Partition、Replication、Message、Consumer
明天一定.
·
2024-01-26 14:28
mq
kafka
分布式
JVM实战(34)——内存溢出之消息队列处理不当
1.1系统背景这是一个线上的数据同步系统,专门从
Kafka
消费其它系统送进去的数据,处理后存储到自己的数据库中:就这么简单的一个系统,生产上却时不时报出OOM异常,然后就得重启系统。
smart哥
·
2024-01-26 14:25
jvm专题
jvm
JVM系列-6.java垃圾回收
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-26 14:23
JVM
jvm
java
开发语言
面试官问我如何保证
Kafka
不丢失消息?我哭了!
##
kafka
如何保证不丢消息ps:这篇文章自我感觉说的很大白话了!希望你们看过了之后能有收获。不了解
Kafka
的朋友建议先看一看我的下面这几篇文章,第一篇一定要看,其他的可以按需学习。1.[入门篇!
Guide哥
·
2024-01-26 13:36
Zookeeper集群 +
Kafka
集群
目录一、概述(一)Zookeeper概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点(1)组成(2)全局数据一致(3)更新请求顺序执行(4)数据更新原子性(5)实时性4.Zookeeper数据结构5.Zookeeper应用场景(1)统一命名服务(2)统一配置管理(3)统一集群管理(4)服务器动态上下线(5)软负载均衡6.Zookeeper选举机制(1)第一次启
江南字子川
·
2024-01-26 09:15
zookeeper
kafka
分布式
Flink问题解决及性能调优-【Flink不同并行度引起sink2es报错问题】
SETtable.exec.state.ttl=86400s;--24hour,默认:0msSETtable.exec.state.ttl=2592000s;--30days,默认:0msCREATETABLE
kafka
_table
PONY LEE
·
2024-01-26 08:12
Flink问题解决及性能调优
flink
大数据
16、
Kafka
------ SpringBoot 整合
Kafka
(配置
Kafka
属性 及对应的 属性处理类 解析)
目录配置
Kafka
及对应的属性处理类配置
Kafka
Kafka
配置属性的约定代码演示生产者相关的配置消费者相关的配置代码(配置文件)application.properties配置
Kafka
及对应的属性处理类配置
_L_J_H_
·
2024-01-26 07:17
Kafka
系列
kafka
spring
boot
分布式
常用MQ产品的对比
原文地址:RocketMQvs.ActiveMQvs.
Kafka
MessagingProdu
JavaNice哥
·
2024-01-26 06:52
java
java
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他