E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka生产者
KAFKA
节点故障的容错方案
KAFKA
节点故障的容错方案1.broker启动加载逻辑1.1日志组成和分析1.2snapshot文件1.3broker启动流程1.4LogManager的初始化和启动过程2.controller高可用
李姓门徒
·
2024-01-31 07:25
分布式
Kafka
大数据
kafka
分布式
大数据
kerberos+
kafka
(2.13)认证(单节点ubuntu)
一:搭建kerberos。1.运行安装命令apt-getinstallkrb5-admin-serverkrb5-kdckrb5-userkrb5-config2.检查服务是否启动。systemctlstatuskrb5-admin-serversystemctlstatuskrb5-kdcsystemctlstartkrb5-admin-serversystemctlstartkrb5-kdc3
宇智波云
·
2024-01-31 07:55
kafka
ubuntu
数据库
kafka
3.0.0学习记录
文章目录第1章
Kafka
概述1.1定义1.2消息队列1.2.1应用场景第1章
Kafka
概述1.1定义
Kafka
是一个开源的分布式事件流平台(EventStreamingPlatform),被数千家公司用于高性能数据管道
珍珠是蚌的眼泪
·
2024-01-31 07:24
中间件
kafka
实时计算平台
Flink实时计算平台架构Flink+
kafka
+clickHouse+mysql+postgresql
xfchn多多学习学习
·
2024-01-31 07:24
大数据
实时大数据
kafka
Standalone 配置 测试
一安装1、安装jdk安装jdk2安装zk这里Standalone模型$tar-zxfapache-zookeeper-3.5.9-bin.tar.gz-C/var/soft/$mvapache-zookeeper-3.5.9-bin/zookeeper-3.5.9-bin/$mvzoo_sample.cfgzoo.cfg$vizoo.cfg修改此处,其他默认dataDir=/var/soft/zo
xfchn多多学习学习
·
2024-01-31 07:24
大数据
kafka
RabbitMQ和
Kafka
对比
RabbitMQ和
Kafka
都是流行的消息传递系统,但它们在设计哲学、功能特性和最适用的场景上有所不同:1.设计和架构RabbitMQ:基于AMQP(高级消息队列协议)。
薛定谔的zhu
·
2024-01-31 07:21
rabbitmq
kafka
分布式
【
kafka
-01数据保留时间设置】
kafka
正确设置过期时间背景如何正确配置数据过期时间背景某天突然发现我的
kafka
中group_id消费记录不见了,特地查了下咋回事。
我先森
·
2024-01-31 07:50
kafka
分布式
一分钟在SpringBoot项目中使用EMQ
先展示最终的结果:
生产者
端:@RestController@RequiredArgsConstructorpublicclassTestController{privatefinalMqttProducermqttProducer
yfs1024
·
2024-01-31 07:15
微服务
spring
boot
后端
java
Kafka
与RocketMQ性能对比大揭秘
在双十一过程中投入同样的硬件资源,
Kafka
搭建的日志集群单个Topic可以达到几百万的TPS,而使用RocketMQ组件的核心业务集群,集群TPS只能达到几十万TPS,这样的现象激发了我对两者性能方面的思考
Java柱柱
·
2024-01-31 07:21
构建高效可靠的消息队列系统:设计与实现
引言二、设计目标2.1、高可用性1.集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性1.
生产者
消息持久化
喔的 喔的嘛呀
·
2024-01-31 07:31
数据库
【
Kafka
】服务器Broker与Controller详解
Broker概述Broker总体工作流程Broker重要参数Controller为什么需要Controller具体作用数据服务Leader选举选举流程脑裂问题羊群效应触发leader选举Broker概述
Kafka
Ethan-running
·
2024-01-31 06:59
#
kafka
kafka
服务器
分布式
Zookeeper实现分布式队列
目录Zookeeper分布式队列普通方式实现设计思路具体实现使用Curator实现具体实现注意事项Zookeeper分布式队列常见的消息队列有:RabbitMQ,RocketMQ,
Kafka
等。
山鸟与鱼!
·
2024-01-31 05:33
分布式中间件
分布式
zookeeper
后端
java
spring
boot
第三章 生产和成本理论笔记
1.
生产者
:能够作出统一的生产决策的单个经济单位,目标是追求利润最大化。2.交易费用:围绕交易契约所产生的成本或费用。构成要素:契约中未规定情形造成的成本;签订契约及监督和执行的花费。
通向财富自由之路
·
2024-01-31 04:26
spring boot 使用
Kafka
一、
Kafka
作为消息队列的好处高吞吐量:
Kafka
能够处理大规模的数据流,并支持高吞吐量的消息传输。持久性:
Kafka
将消息持久化到磁盘上,保证了消息不会因为系统故障而丢失。
奋力向前123
·
2024-01-31 03:20
java
spring
boot
kafka
后端
生产者
消费者问题(java)
代码可直接复制运行!publicclassMain{publicstaticvoidmain(String[]args){LinkedListbuffer=newLinkedListbuffer=newLinkedListbuffer,intcapacity,intnum){this.capacity=capacity;this.num=num;this.buffer=buffer;}@Overr
熊爱吃鱼
·
2024-01-31 01:21
机试题
java
开发语言
算法
【阻塞队列】阻塞队列的模拟实现及在
生产者
和消费者模型上的应用
3.Java标准库中阻塞队列的实现二.阻塞队列的模拟实现1.实现普通队列2.实现队列的阻塞功能3.解除阻塞状态三.使用模拟的阻塞队列验证
生产者
和消费者模型前言本文是对阻塞队列的应用场景的介绍,对阻塞队列的作用以及具体实现的讨论
轩。528
·
2024-01-31 01:50
多线程专题
笔记
【
Kafka
系列】生产级集群参数配置
2.4Topic管理相关配置2.5数据存留相关配置3.Topic级别参数4.JVM参数5.操作系统参数6.小结1.概述本文将从Bocker端参数、Topic级别参数、JVM端参数、操作系统级别参数分别介绍
Kafka
Hyatt1024
·
2024-01-30 23:44
kafka
kafka
分布式
【
Kafka
系列】
Kafka
副本机制详解
目录1.前言2.副本定义3.副本角色4.In-syncReplicas(ISR)5.Unclean领导者选举(UncleanLeaderElection)6.小结1.前言所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢?提供数据冗余。即使系统部分组件失效,系统依然能够继续运转,因而增加了整体可用性以及
Hyatt1024
·
2024-01-30 23:44
kafka
kafka
分布式
【
Kafka
系列】
Kafka
线上集群部署方案
目录前言操作系统磁盘磁盘容量带宽小结前言
Kafka
线上集群部署方案怎么做?既然是集群部署,那必然就要有多个
Kafka
节点机器,且需要仔细地考量各种因素,结合自身的业务需求而制定。
Hyatt1024
·
2024-01-30 23:13
kafka
kafka
分布式
spring-bus消息总线的使用
应用接口用到的封装参数类接收的应用监听器定义的事件类使用bus定义bus远程调用A应用数据更新后通过bus数据同步给B应用依赖org.springframework.cloudspring-cloud-starter-bus-amqpbus应用类似于
生产者
接口供内部其他应用使用
zeki豪
·
2024-01-30 22:11
spring
java
spring
boot
RabbitMQ、
Kafka
、RocketMQ 是如何实现高可用的?
本文从高可用的角度观察一下RabbitMQ、
Kafka
、RocketMQ,看看它们各自的实现思路。
SlowGO
·
2024-01-30 22:03
Kafka
常见问题
1.
Kafka
介绍
Kafka
是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。
头未秃
·
2024-01-30 21:48
笔记
kafka
kafka
常见参数配置
Broker端参数auto.create.topics.enable:是否允许自动创建Topic。建议最好设置成false,即不允许自动创建Topic。线上环境里面有很多名字稀奇古怪的Topic,大概都是因为该参数被设置成了true的缘故。unclean.leader.election.enable:是否允许UncleanLeader选举。关闭UncleanLeader选举的。何谓Unclean?
YYangBBB
·
2024-01-30 21:48
kafka
Kafka
常见问题
Kafka
常见问题1.什么是分布式?2.什么是
Kafka
?3.为什么用
Kafka
(使用消息队列的好处)?4.消息队列的两种模式?5.
Kafka
的组成(架构)?
斯沃福德
·
2024-01-30 21:47
消息队列
/
缓存
kafka
java
分布式
Kafka
常见配置
producer.properties配置acks消息确认机制,ack可配置为三种:0,1,-1(all),默认为1acks=0,producer端发送消息后,不管broker的副本是否成功收到消息,producer端都认为发送成功。优点:时延最小,缺点:有消息丢失风险,如果消息生产成功后在发送过程中leader异常,则消息丢失。可靠性低,leader收到消息后,如果同步到其他follower过程
Jessie_hhhhhzy
·
2024-01-30 21:17
kafka
Kafka
常见参数
参数名含义默认值解释max.request.size生产端:最大请求字节大小1MB如果生产请求消息体大小大于该值,客户端生产时会报错max.poll.records消费端:一次poll()请求最大拉取消息条数500条如果单条消息处理时间长,需要减少该参数值,反之增加fetch.min.bytes消费端:一次poll()请求最小返回字节大小1增加该值可以提高吞吐量,同时也会产生一定延迟fetch.m
沉默终止
·
2024-01-30 21:46
kafka
分布式
kafka
学习笔记一
目录第一章初识
Kafka
一、
kafka
的作用二、
kafka
架构三、分区&日志四、
生产者
&消费者五、
kafka
高性能之道总结:
kafka
读写性能高的原因?
薛薛哦
·
2024-01-30 21:56
分布式
kafka
kafka
学习笔记二
课程地址:【尚硅谷】
Kafka
3.x教程(从入门到调优,深入全面)_哔哩哔哩_bilibili讲解版本:
kafka
3.x;时长13小时官网:Apache
Kafka
Kafka
2.8.0以后也可以配置不采用
薛薛哦
·
2024-01-30 21:25
分布式
kafka
kafka
集群搭建需要做的事情
首先,虚拟机克隆好之后的步骤如下:1.修改IP、主机名,关闭防火墙;(reboot重启)2.在/etc/hosts文件中进行IP与主机名的映射配置,集群中每天都记得配置;3.安装JDK并进行分发;进入/etc/profile.d/目录创建my_env.sh文件并在其中配置JAVA_HOME并进行分发;(分发jdk前先卸载自带的jdk);4.安装zookeeper并进行分发,具体为:首先,在zook
薛薛哦
·
2024-01-30 21:24
分布式
一碰就头疼的
Kafka
消息重复问题,立马解决!
一碰就头疼的
Kafka
消息重复问题,立马解决!
一名技术极客
·
2024-01-30 20:13
随笔
日常开发问题集锦
kafka
linq
【Linux】:线程(四)POSIX信号量
POSIX信号量一.进一步探析
生产者
消费者模型二.POSIX信号量1.基本使用2.基于环形队列的生产消费模型1.概念2.模拟3.一个使用例子一.进一步探析
生产者
消费者模型前面我们详解过
生产者
消费者模型,
菜花籽
·
2024-01-30 20:04
Linux系统
linux
性能优化
缓存
RabbitMQ学习(一)AMQP协议
一、RabbitMQ简介MQ全称为MessageQueue,是一种分布式应用程序的的通信方法,它是消费-
生产者
模型的一个典型的代表,producer往消息队列中不断写入消息,而另一端consumer则可以读取或者订阅队列中的消息
kobe0429
·
2024-01-30 19:43
【Linux】
生产者
消费者模型
生产者
消费者模型一、
生产者
消费者模型1、
生产者
消费者模型概念2、
生产者
消费者模型的特点(1)
生产者
和
生产者
、消费者和消费者、
生产者
和消费者,它们之间为什么会存在互斥关系?
2022horse
·
2024-01-30 19:15
Linux
linux
rpc
运维
服务器
SpringBoot整合RabbitMQ快速实战
目录引入依赖配置文件不同模式下使用springboot收发消息直连模式
生产者
消费者Fanout模式
生产者
消费者Topic主题模式
生产者
消费者Headers模式
生产者
消费者补充Quorum队列
生产者
消费者引入依赖
山鸟与鱼!
·
2024-01-30 18:39
分布式中间件
spring
boot
java-rabbitmq
rabbitmq
java
后端
RabbitMQ安全防护,加固策略
简介中间件简介消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性[架构]使用较多的消息队列有ActiveMQ(安全),RabbitMQ,ZeroMQ,
Kafka
中年程序员一枚
·
2024-01-30 17:27
环境搭建专栏
rabbitmq
安全
分布式
Kafka
记录
推荐资源官网http://
kafka
.apache.org/Githubhttps://github.com/apache/
kafka
书籍《深入理解
Kafka
核心设计与实践原理》
Kafka
架构
Kafka
Beth_Chan
·
2024-01-30 16:00
Java
数据
Kafka
Java
MQ
Message
Queue
ELK集群搭建(基础教程)
ELK集群搭建(基础教程)目录:机器准备集群内各台机器安装Elasticsearch安装部署
Kafka
(注:每个节点都配置,注意ip不同)安装logstash工具安装filebeatELK收集Nginx
lqcbj_IT老混混
·
2024-01-30 16:41
ELK集群
elk
如何接手一个大数据项目
:了解一个大数据系统,我认为需要从以下几个方面入手:宏观方面:1.了解系统的整体架构和技术栈:需要了解系统中使用的技术栈,包括各种大数据组件和工具,例如Hadoop、Spark、Hive、Flink、
Kafka
Mmj666
·
2024-01-30 15:19
大数据
Exchanger
Exchanger.png示例publicclassExchangerTest{staticclassProducerimplementsRunnable{//
生产者
、消费者交换的数据结构privateListbuffer
Pillar_Zhong
·
2024-01-30 09:37
Disruptor
8544700.html定义Disruptor@Component@Slf4jpublicclassDisruptorUtil{privatestaticintbufferSize=4096;/***单
生产者
shuimuhanchen
·
2024-01-30 08:04
框架入门
阻塞队列
生产者消费者模式
disruptor
day15 线程协作、线程通信
文章目录线程通信应用场景:
生产者
和消费者问题解决方式1:解决方式2:线程池线程通信应用场景:
生产者
和消费者问题假设仓库中只能存放一件产品,
生产者
将生产出来的产品放入仓库,消费者将仓库中产品取走消费如果仓库中没有产品
mollzz
·
2024-01-30 08:33
学习Java
java
如何监控
Kafka
消费者组消费进度?
如何监控
Kafka
消费者组消费进度?对于
Kafka
消费者来说,最重要的事情就是监控它们的消费进度了,或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称:消费者Lag或ConsumerLag。
章全蛋
·
2024-01-30 07:32
Kafka
【
Kafka
】 分区和副本 Partition 详解
ISR和OSRLEO和HW分区Leader选举分区重新分配自动再均衡修改分区副本分区分配策略RangeAssignorRoundRobinAssignorStickyAssignor自定义分配策略概述
Kafka
Ethan-running
·
2024-01-30 07:32
#
kafka
kafka
分布式
消息中间件
【Spring连载】使用Spring访问 Apache
Kafka
(二十)----测试应用
【Spring连载】使用Spring访问Apache
Kafka
(二十)----测试应用TestingApplications一、
Kafka
TestUtils二、JUnit三、配置主题ConfiguringTopics
85程序员老王
·
2024-01-30 07:30
spring
apache
kafka
消息队列和
Kafka
消息队列(类似于蜂巢柜的功能):异步操作特点:低耦合,响应时间快,异步削峰限流(在不繁忙的时间段处理再处理任务),系统结构弹性大,易于扩展
kafka
Kafka
的主要组件包括:-Broker:
Kafka
集群中的单个服务器节点
一路向北看星晴
·
2024-01-30 07:30
kafka
分布式
【Spring连载】使用Spring访问 Apache
Kafka
(十九)----Apache
Kafka
Streams支持
【Spring连载】使用Spring访问Apache
Kafka
(十九)----Apache
Kafka
Streams支持一、基础Basics二、Spring管理三、
Kafka
StreamsMicrometer
85程序员老王
·
2024-01-30 07:00
spring
apache
kafka
Kafka
- 消费进度监控(Consumer Lag)
所谓滞后程度,就是指消费者当前落后于
生产者
的程度。Lag应该算是最最重要的监控指标了。它直接反映了一个消费者的运行情况。
放羊的牧码
·
2024-01-30 07:56
#
MQ
kafka
分布式
消费者
消费
监控
Lag
consumer
stream
【Spring连载】使用Spring访问 Apache
Kafka
(二十一)----提示,技巧和例子
【Spring连载】使用Spring访问Apache
Kafka
(二十一)----提示,技巧和例子Tips,TricksandExamples一、手动分配所有分区ManuallyAssigningAllPartitions
85程序员老王
·
2024-01-30 07:26
spring
apache
kafka
RabbitMQ(二)
1、发布订阅可以看到,在订阅模型中,多了一个exchange角色,而且过程略有变化:Publisher:
生产者
,也就是要发送消息的程序,但是不再发送到队列中,而是发给X(交换机)Exchange:交换机
蒋一清
·
2024-01-30 07:48
消息队列
java-rabbitmq
rabbitmq
java
Redis中发布订阅模式用法
这个第三方我们通常称之为消息中间件,消息中间件主要是用来做系统之间的异步通信,常见的消息中间件有:ActiveMQ,RocketMQ,RabbitMQ,
Kafka
等。
IT之一小佬
·
2024-01-30 06:07
Redis数据库
redis
发布订阅
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他