E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka消息队列
基于redis stream
消息队列
的最新解决方案之spring-boot简单尝试
可以实现
消息队列
的工具有很多,例如:ZeroMQ、Posix、SquirrelMQ、Redis、QDBM、TokyoTyrant、HTTPSQS等(linux平台下)各自具备各自的特性,不在展开讨论。
池边絮
·
2024-01-25 08:32
利用 Amazon Lambda 将 Kinesis Data Stream 数据批量自动写入 Amazon MSK
这些应用程序统一从Apache
Kafka
中拉取实时数据做分析和处理,例如监控系统、大数据分析平台等。由于业务发展需要,用户将这些工作负载部分迁移到了Amazon上,或者在Amazon上构建新的应用。
亚马逊云开发者
·
2024-01-25 07:15
kafka
大数据
分布式
kafka
(三)生产问题
一、线上机器规划二、线上问题优化1、消息丢失的情况消息发送端:a:acks=0:表示producer不需要等待broker确认收到消息的回复就可以继续发送消息;性能高,但很容易丢失消息;b:acks=1:表示producer只需要等待leader写入成功的回复消息就可以继续发送消息了,若果follower没有写入成功,leader宕机,则消息丢失;c:acks=-1或all:这意味着leader需
匠道
·
2024-01-25 05:50
kafka
分布式
kafka
(一)快速入门
一、
kafka
(一)是什么?
匠道
·
2024-01-25 05:19
kafka
kafka
分布式
python使用
kafka
初步入门
kafka
的使用zookeeper相关zookeeper的安装,查看文档:zookeeper的使用在
kafka
中,zookeeper主要存
kafka
节点的数据。
Tang_Lyan
·
2024-01-25 05:23
【MQ01】什么是
消息队列
?用哪个
消息队列
?
什么是
消息队列
?用哪个
消息队列
?来了来了,
消息队列
系列总算来咯。对于搜索引擎相关的知识大家消化的怎么样呀?其实对于搜索引擎来说,我们学习的内容还是挺全面的,也算是比较深入了。
码农老张Zy
·
2024-01-25 04:47
GreptimeDB v0.6 发布 | 支持 Datanodes 间迁移数据表 Region
接下来我们将介绍GreptimeDBv0.6的主要版本改进:v0.6功能上新其他亮点更新RegionMigration在v0.5版本中,我们引入了对
Kafka
WAL的支持,使得在多个Datanode之
Greptime
·
2024-01-25 03:12
时序数据库
云原生
rust
数据库
数据库开发
时序数据库
RabbitMQ笔记
文章中所有的示例代码全部上传到自己的Github中,需要参考请移步RabbitMQ
消息队列
什么是
消息队列
?
Jorybeast97
·
2024-01-25 03:47
Binder初探
提到Binder不得不说进程间通信(IPC,Interprocesscommunication)了,Linux现有管道、
消息队列
、共享内存、套接字、信号量、信号这些IPC机制,Android额外还有BinderIPC
holdfishpalm
·
2024-01-25 03:23
C语言野指针问题
第一点
消息队列
就可以用做进程之间的通信也可以用作进程里面的线程之前的通信。他们在用msgget创建的时候通过参数来决定否这个消息对列是用于进程之间,还是用于线程之间。
tukery
·
2024-01-24 23:36
Linux内存管理
基于redis实现
消息队列
消息队列
,MessageQueue,常用于解决并发系统中的资源一致性问题,提升峰值的处理能力,同时保证消息的顺序性、可恢复性、必送达性,对应用进行解耦,或者实现异步通讯等。
tracy_668
·
2024-01-24 21:12
Redis缓存
Redis的主要用途有三个方面:1.存储数据(作为数据库使用)2.缓存(Redis最常用的场景)3.
消息队列
。在计算机种,速度快的设备可以作为速度慢的设备的缓存。最常见的就是内存作为硬盘的“缓存”。
RNGWGzZs
·
2024-01-24 19:01
redis
缓存
redis
Kafka
高可用集群安装
开始安装配置Kafaka1.编辑server.properties文件#############################ServerBasics##############################Theidofthebroker.Thismustbesettoauniqueintegerforeachbroker.broker.id=1#######################
NikolasNull
·
2024-01-24 19:05
kaafka的rebalance机制
Kafka
的Rebalance机制是为了实现高可用和负载均衡而设计的。
啄sir.
·
2024-01-24 19:44
kafka
小白初探架构模式—常用的设计模式
主从架构的实现2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白,我们通常用了很多种工具,比如Mysql、Redis、
Kafka
程序员阿奇
·
2024-01-24 19:03
Hadoop
java
主从架构
设计模式
集群分片
主从复制
c++ lambda 使用
bool
Kafka
ResourceManager::Register(std::stringname,std::function()>callback){std::shared_ptrresource=
墨子哲
·
2024-01-24 17:10
C++实战
c lib rd
kafka
接口说明
一、主要数据结构1、typedefstructrd_
kafka
_conf_srd_
kafka
_conf_t;rd_
kafka
_conf_t是
kafka
的全局配置结构,通过rd_
kafka
_conf_new
墨子哲
·
2024-01-24 17:10
C++实战
一文读懂RabbitMQ核心概念及架构
1.RabbitMQ简介RabbitMQ是一个开源的消息代理软件,实现了高级
消息队列
协议(AMQP)。它是一个应用程序对应用程序的通信方法,基于消费-生产者模型。
最后一支迷迭香
·
2024-01-24 16:18
springboot
mq
rabbitmq
架构
springboot
java
查看 Avro 格式的
Kafka
消息(启用了 Confluent Schema Registry )
使用Avro格式传递
Kafka
消息要比Json更加高效,因为它是二进制格式,在启用了ConfluentSchemaRegistry的情况下,会进一步地提升传输效率,因为Avro中的Schema信息将不再出现在消息中
Laurence
·
2024-01-24 15:57
付费专栏
kafka
avro
confluent
schema
registry
Zookeeper集群 +
Kafka
集群
目录一、Zookeeper概述二、
Kafka
概述三、部署1.部署Zookeeper集群1.环境准备2.安装Zookeeper2.部署
kafka
集群1.下载安装包2.安装
Kafka
3.部署Filebeat
睡美人章繁
·
2024-01-24 14:24
zookeeper
kafka
分布式
14、
Kafka
------
kafka
核心API 之 流API(就是把一个主题的消息 导流 到另一个主题里面去)
目录
kafka
核心API之流API
Kafka
流API的作用:流API的核心API:使用流API编程的大致步骤如下:代码演示流API用法MessageStream流API代码演示消息从test1主题导流到
_L_J_H_
·
2024-01-24 14:33
Kafka
系列
kafka
linq
数据库
【
Kafka
】高级特性:生产者
目录消息发送消息生产流程ProducerRecord序列化器分区器拦截器生产者原理剖析主线程消息累加器发送线程生产者参数消息发送消息生产流程整个流程如下:Producer创建时,会创建一个Sender线程并设置为守护线程。生产消息时,内部其实是异步流程;生产的消息先经过拦截器->序列化器->分区器,然后将消息缓存在缓冲区(该缓冲区也是在Producer创建时创建)。批次发送的条件为:缓冲区数据大小
Ethan-running
·
2024-01-24 14:03
#
kafka
kafka
消息中间件
分布式
Kafka
集群如何实现数据同步?
Kafka
介绍
Kafka
是一个高吞吐的分布式消息系统,不但像传统
消息队列
(RaabitMQ、RocketMQ等)那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上,用于批量消费。
java2508
·
2024-01-24 14:02
kafka
分布式
使用时间戳来消费消息(
kafka
)
fromconfluent_
kafka
importConsumer,
Kafka
Errord
鲁班班
·
2024-01-24 14:32
kafka
python
服务器的异步通信——RabbitMQ
目录一、同步通信VS异步通信二、MQ——
消息队列
RabbitMQRabbitMQ安装RabbitMQ的整体架构常见消息模型基本
消息队列
(BasicQueue)工作
消息队列
(WorkQueue)发布、订阅
过✪
·
2024-01-24 13:56
微服务
rabbitmq
分布式
rabbitmq基础-java-1、快速入门
1、AMQPAMQP,即AdvancedMessageQueuingProtocol(高级
消息队列
协议),一个提供统一消息服务的应用层标准高级
消息队列
协议,是应用层协议的一个开放标准,为面向消息的中间件设计
清爽的暗之妖刀0369
·
2024-01-24 13:18
rarbbitmq
java
架构师的36项修炼-07高可用系统架构设计
&高可用架构策略,主要包括负载均衡、备份与失效转移、
消息队列
隔离、限流与降级、异地多活这样几种架构方法。
机智阳
·
2024-01-24 13:42
java
系统架构
架构
java
后端
【Linux】进程间通信——system V 共享内存、
消息队列
、信号量
需要云服务器等云产品来学习Linux的同学可以移步/–>腾讯云#include函数原型:intshmget(key_tkey,size_tsize,intshmflg);参数解释:key:是一个保证共享内存编号唯一性的标识符,为了让相同的进程能够看到同一个共享内存size:创建的共享内存的大小shmflg:创建共享内存的选项,通常我们使用两个:IPC_CREAT和IPC_EXCL返回值:如果调用成
凌云志.
·
2024-01-24 13:37
Linux
linux
服务器
阿里云 微
消息队列
MQTT使用与部分常见问题处理
阿里云微
消息队列
MQTT产品的接入和使用流程,以及常见问题处理如下:**接入与使用流程:**1.创建实例:登录阿里云控制台,在
消息队列
MQTT产品页面创建实例,并获取实例ID、用户名(ClientId)
云服务商呀
·
2024-01-24 13:06
阿里云
云计算
运维
Linux几种进程间通信方式(附代码讲解)
Linux几种进程间通信方式(附代码讲解)一、无名管道1.特点:2.原型:3.例子二、命名管道三、信号量1.特点2.信号量的工作原理3.二元信号量4.进程如何获得共享资源5.与信号量相关的函数6.例子四、
消息队列
LzChang
·
2024-01-24 13:04
linux
操作系统
多进程
网络通信
linux进程切换、多进程编程、进程间通信详解
什么是进程3.进程切换进程切换终极总结4.进程管理3.进程创建1.函数fork()fork()函数特性实例验证fork()特性4.进程/线程同步的方式和机制、进程间通信进程间通信主要包括管道,系统IPC(包括
消息队列
Wmll1234567
·
2024-01-24 13:01
linux_c
c
进程
进程切换
API接口安全总结
除`RPC`之外,常见的多系统数据交互方案还有分布式
消息队列
、`HTTP`请求调用、数据库和分布式缓存等。-本地过程调用:如
网安?阿哲
·
2024-01-24 12:59
Web安全漏洞
API安全
API
Kafka
集群的安装与配置(二)
2.2.2生产者命令行操作1)查看操作生产者命令参数[atguigu@hadoop102
kafka
]$bin/
kafka
-console-producer.sh2)发送消息[atguigu@hadoop102
kafka
ole_triangle_java
·
2024-01-24 12:59
kafka
linq
分布式
Kafka
(二)原理详解
一、
kafka
核心总控制器(Controller)在
Kafka
集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(
Kafka
Controller),它负责管理整个集群中所有分区和副本的状态
匠道
·
2024-01-24 12:20
kafka
kafka
分布式
kafka
入门(九):
kafka
分区分配策略
kafka
分区分配策略参数:
Kafka
提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。
乐之者v
·
2024-01-24 12:20
kafka
数据库
分布式
Zookeeper集群 +
Kafka
集群,Filebeat+
Kafka
+ELK
目录什么是Zookeeper?Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper选举机制实验部署Zookeeper集群1.安装前准备安装JDK下载安装包2.安装Zookeeper修改配置文件拷贝配置好的Zookeeper配置文件到其他机器上在每个节点上创建数据目录和日志目录在每个节点的dataDir指定的目录下创建一个myid的文件配置Zookeeper启
思华年^O^
·
2024-01-24 12:48
linux
服务器
运维
kafka
kafka
kafka
内容producer:发布消息的对象称之为主题生产者(
Kafka
topicproducer)topic:
Kafka
将消息分门别类,每一类的消息称之为一个主题(Topic)consumer:订阅消息并处理发布的消息的对象称之为主题消费者
IsLuNaTiC
·
2024-01-24 12:18
kafka
分布式
Kafka
消费者提交偏移量
偏移量在
Kafka
中,偏移量(offset)是一个与分区相关的概念,用于跟踪一个消费者在分区中已经处理的消息位置。每个分区都有自己的偏移量,用于记录已经传递给消费者的消息的位置。
鲁班班
·
2024-01-24 12:18
kafka
登录
kafka
报错:Could notstart Jolokia agent: java.net.BindException: Address in use
在执行
kafka
命令增加或删除topic的时候,发现总是报错。Addressinuse?端口还是ip被占用了。只能禁用了,再执行命令。
后季暖
·
2024-01-24 12:48
kafka
java
分布式
分布式
消息队列
之RocketMQ
一RocketMQ概述1.1MQ概述1.1.1MQ简介MQ,MessageQueue,是一种提供
消息队列
服务的中间件,也称为消息中间件,是一套提供了消息生产、存储、消费全过程API的软件系统。
保护我方阿遥
·
2024-01-24 11:30
分布式
java-rocketmq
rocketmq
1024程序员节
乐优商城(五十一)延时
消息队列
目录一、需求1.1常见方案1.2缺点二、高效延时消息设计与实现三、RabbitMQ延时队列3.1Per-QueueMessageTTL3.2DeadLetterExchanges3.3小结3.4在队列上设置TTL3.4.1建立delay.exchange3.4.2建立延时队列(delayqueue)3.4.3配置延时路由规则3.4.4测试3.5在消息上设置TTL3.5.1设置延时队列3.5.2生产
飘来荡去、、
·
2024-01-24 11:29
乐优商城
RabbitMQ
延时队列
乐优商城
消息队列
基础知识
一、
消息队列
的作用1、异步处理发送者将消息发送给
消息队列
之后,不需要同步等待消息接收者处理完毕,而是立即返回进行其它操作。消息接收者从
消息队列
中订阅消息之后异步处理。
皓月v
·
2024-01-24 11:29
java
kafka
集群的错误处理
今天由于
kafka
集群搭建时的配置不当,由于一台主消费者挂掉(服务器崩了,需要维修),导致了所有新版消费者(新版的offset存储在
kafka
)都无法拉取消息。
Stalary
·
2024-01-24 10:16
laravel异步
消息队列
详细攻略Supervisor队列进程管理(实战)
1、laravel配置开启队列这里仅演示数据库队列查看下面/config/queue.php,里面defult对应的env常量是QUEUE_DRIVER,那就在项目根目录下的.env文件修改QUEUE_DRIVER=databaseenv('QUEUE_DRIVER','sync'),/*|------------------------------------------------------
雾里看花_
·
2024-01-24 10:36
laravel
php
JVM系列-5.java内存区域
作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家系列专栏:Spring原理、JUC原理、
Kafka
原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪
·
2024-01-24 10:53
JVM
jvm
java
Redis非关系型数据库
性能优越:读的速度为是十一万次每秒(官方),写的速度为八万一千次每秒(官方)应用场景:1.缓存热点或常用数据(热搜,热评)2.
消息队列
:(支付)3.高速读写(现场投票)注意事项:1.业务数据如果命中率很低
Responsibility_
·
2024-01-24 10:19
webrtc线程代码研究
webrtc线程类的实现集成了socket的收发,
消息队列
,值得研究,基于webrtc75版本。
老张音视频开发进阶
·
2024-01-24 10:13
webrtc
IDEA报错:No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.
idea编辑flink连接
kafka
读取数据时报错:NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment
唯一2333
·
2024-01-24 09:09
flink
kafka
idea
消息中间件之八股面试回答篇:一、问题概览+MQ的应用场景+RabbitMQ如何保证消息不丢失(生产者确认机制、持久化、消费者确认机制)+回答模板
问题概览目前主流的
消息队列
技术(MQ技术)分为RabbitMQ和
Kafka
,其中深蓝色为只要是MQ,一般都会问到的问题。浅蓝色是针对RabbitMQ的特性的问题。蓝紫色为针对
Kafka
的特性的问题。
鸡鸭扣
·
2024-01-24 09:38
RabbitMQ
消息队列面试
面试
rabbitmq
职场和发展
spring
cloud
java
后端
分布式
Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】
前言今天一天争取搞完最后这一部分,学完赶紧把
Kafka
和Flume学完,就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作,太牛马了。
让线程再跑一会
·
2024-01-24 07:17
Flink
flink
大数据
上一页
21
22
23
24
25
26
27
28
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他