消息队列--kafka 第25页

基于redis stream消息队列的最新解决方案之spring-boot简单尝试

可以实现消息队列的工具有很多，例如：ZeroMQ、Posix、SquirrelMQ、Redis、QDBM、TokyoTyrant、HTTPSQS等（linux平台下）各自具备各自的特性，不在展开讨论。

池边絮·2024-01-25 08:32

利用 Amazon Lambda 将 Kinesis Data Stream 数据批量自动写入 Amazon MSK

这些应用程序统一从ApacheKafka中拉取实时数据做分析和处理，例如监控系统、大数据分析平台等。由于业务发展需要，用户将这些工作负载部分迁移到了Amazon上，或者在Amazon上构建新的应用。

亚马逊云开发者·2024-01-25 07:15

kafka（三）生产问题

一、线上机器规划二、线上问题优化1、消息丢失的情况消息发送端：a：acks=0：表示producer不需要等待broker确认收到消息的回复就可以继续发送消息；性能高，但很容易丢失消息；b：acks=1：表示producer只需要等待leader写入成功的回复消息就可以继续发送消息了，若果follower没有写入成功，leader宕机，则消息丢失；c：acks=-1或all：这意味着leader需

匠道·2024-01-25 05:50

kafka（一）快速入门

一、kafka（一）是什么？

匠道·2024-01-25 05:19

python使用kafka初步入门

Tang_Lyan·2024-01-25 05:23

【MQ01】什么是消息队列？用哪个消息队列？

什么是消息队列？用哪个消息队列？来了来了，消息队列系列总算来咯。对于搜索引擎相关的知识大家消化的怎么样呀？其实对于搜索引擎来说，我们学习的内容还是挺全面的，也算是比较深入了。

码农老张Zy·2024-01-25 04:47

GreptimeDB v0.6 发布 | 支持 Datanodes 间迁移数据表 Region

接下来我们将介绍GreptimeDBv0.6的主要版本改进：v0.6功能上新其他亮点更新RegionMigration在v0.5版本中，我们引入了对KafkaWAL的支持，使得在多个Datanode之

Greptime·2024-01-25 03:12

RabbitMQ笔记

文章中所有的示例代码全部上传到自己的Github中，需要参考请移步RabbitMQ消息队列什么是消息队列?

Jorybeast97·2024-01-25 03:47

Binder初探

提到Binder不得不说进程间通信（IPC，Interprocesscommunication）了，Linux现有管道、消息队列、共享内存、套接字、信号量、信号这些IPC机制，Android额外还有BinderIPC

holdfishpalm·2024-01-25 03:23

C语言野指针问题

第一点消息队列就可以用做进程之间的通信也可以用作进程里面的线程之前的通信。他们在用msgget创建的时候通过参数来决定否这个消息对列是用于进程之间，还是用于线程之间。

tukery·2024-01-24 23:36

基于redis实现消息队列

消息队列，MessageQueue，常用于解决并发系统中的资源一致性问题，提升峰值的处理能力，同时保证消息的顺序性、可恢复性、必送达性，对应用进行解耦，或者实现异步通讯等。

tracy_668·2024-01-24 21:12

Redis缓存

Redis的主要用途有三个方面：1.存储数据（作为数据库使用）2.缓存（Redis最常用的场景）3.消息队列。在计算机种，速度快的设备可以作为速度慢的设备的缓存。最常见的就是内存作为硬盘的“缓存”。

RNGWGzZs·2024-01-24 19:01

Kafka高可用集群安装

开始安装配置Kafaka1.编辑server.properties文件#############################ServerBasics##############################Theidofthebroker.Thismustbesettoauniqueintegerforeachbroker.broker.id=1#######################

NikolasNull·2024-01-24 19:05

kaafka的rebalance机制

Kafka的Rebalance机制是为了实现高可用和负载均衡而设计的。

啄sir.·2024-01-24 19:44

小白初探架构模式—常用的设计模式

主从架构的实现2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白，我们通常用了很多种工具，比如Mysql、Redis、Kafka

程序员阿奇·2024-01-24 19:03

c++ lambda 使用

boolKafkaResourceManager::Register(std::stringname,std::function()>callback){std::shared_ptrresource=

墨子哲·2024-01-24 17:10

c lib rdkafka接口说明

一、主要数据结构1、typedefstructrd_kafka_conf_srd_kafka_conf_t;rd_kafka_conf_t是kafka的全局配置结构，通过rd_kafka_conf_new

墨子哲·2024-01-24 17:10

一文读懂RabbitMQ核心概念及架构

1.RabbitMQ简介RabbitMQ是一个开源的消息代理软件，实现了高级消息队列协议（AMQP）。它是一个应用程序对应用程序的通信方法，基于消费-生产者模型。

最后一支迷迭香·2024-01-24 16:18

查看 Avro 格式的 Kafka 消息（启用了 Confluent Schema Registry )

使用Avro格式传递Kafka消息要比Json更加高效，因为它是二进制格式，在启用了ConfluentSchemaRegistry的情况下，会进一步地提升传输效率，因为Avro中的Schema信息将不再出现在消息中

　Laurence·2024-01-24 15:57

Zookeeper集群 + Kafka集群

目录一、Zookeeper概述二、Kafka概述三、部署1.部署Zookeeper集群1.环境准备2.安装Zookeeper2.部署kafka集群1.下载安装包2.安装Kafka3.部署Filebeat

睡美人章繁·2024-01-24 14:24

14、Kafka ------ kafka 核心API 之流API（就是把一个主题的消息导流到另一个主题里面去）

目录kafka核心API之流APIKafka流API的作用：流API的核心API：使用流API编程的大致步骤如下：代码演示流API用法MessageStream流API代码演示消息从test1主题导流到

_L_J_H_·2024-01-24 14:33

【Kafka】高级特性：生产者

目录消息发送消息生产流程ProducerRecord序列化器分区器拦截器生产者原理剖析主线程消息累加器发送线程生产者参数消息发送消息生产流程整个流程如下：Producer创建时，会创建一个Sender线程并设置为守护线程。生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创建时创建）。批次发送的条件为：缓冲区数据大小

Ethan-running·2024-01-24 14:03

Kafka 集群如何实现数据同步？

Kafka介绍Kafka是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上，用于批量消费。

java2508·2024-01-24 14:02

使用时间戳来消费消息(kafka)

fromconfluent_kafkaimportConsumer,KafkaErrord

鲁班班·2024-01-24 14:32

服务器的异步通信——RabbitMQ

目录一、同步通信VS异步通信二、MQ——消息队列RabbitMQRabbitMQ安装RabbitMQ的整体架构常见消息模型基本消息队列（BasicQueue）工作消息队列（WorkQueue）发布、订阅

过✪·2024-01-24 13:56

rabbitmq基础-java-1、快速入门

1、AMQPAMQP，即AdvancedMessageQueuingProtocol（高级消息队列协议），一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计

清爽的暗之妖刀0369·2024-01-24 13:18

架构师的36项修炼-07高可用系统架构设计

&高可用架构策略，主要包括负载均衡、备份与失效转移、消息队列隔离、限流与降级、异地多活这样几种架构方法。

机智阳·2024-01-24 13:42

【Linux】进程间通信——system V 共享内存、消息队列、信号量

需要云服务器等云产品来学习Linux的同学可以移步/–>腾讯云#include函数原型:intshmget(key_tkey,size_tsize,intshmflg);参数解释:key:是一个保证共享内存编号唯一性的标识符，为了让相同的进程能够看到同一个共享内存size:创建的共享内存的大小shmflg:创建共享内存的选项，通常我们使用两个：IPC_CREAT和IPC_EXCL返回值:如果调用成

凌云志.·2024-01-24 13:37

阿里云微消息队列 MQTT使用与部分常见问题处理

阿里云微消息队列MQTT产品的接入和使用流程，以及常见问题处理如下：**接入与使用流程：**1.创建实例：登录阿里云控制台，在消息队列MQTT产品页面创建实例，并获取实例ID、用户名（ClientId）

云服务商呀·2024-01-24 13:06

Linux几种进程间通信方式（附代码讲解）

Linux几种进程间通信方式（附代码讲解）一、无名管道1.特点：2.原型：3.例子二、命名管道三、信号量1.特点2.信号量的工作原理3.二元信号量4.进程如何获得共享资源5.与信号量相关的函数6.例子四、消息队列

LzChang·2024-01-24 13:04

linux进程切换、多进程编程、进程间通信详解

什么是进程3.进程切换进程切换终极总结4.进程管理3.进程创建1.函数fork()fork()函数特性实例验证fork（）特性4.进程/线程同步的方式和机制、进程间通信进程间通信主要包括管道,系统IPC(包括消息队列

Wmll1234567·2024-01-24 13:01

API接口安全总结

除`RPC`之外，常见的多系统数据交互方案还有分布式消息队列、`HTTP`请求调用、数据库和分布式缓存等。-本地过程调用：如

网安？阿哲·2024-01-24 12:59

Kafka集群的安装与配置（二）

2.2.2生产者命令行操作1）查看操作生产者命令参数[atguigu@hadoop102kafka]$bin/kafka-console-producer.sh2）发送消息[atguigu@hadoop102kafka

ole_triangle_java·2024-01-24 12:59

Kafka(二）原理详解

一、kafka核心总控制器（Controller）在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（KafkaController），它负责管理整个集群中所有分区和副本的状态

匠道·2024-01-24 12:20

kafka入门(九)：kafka分区分配策略

kafka分区分配策略参数：Kafka提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。

乐之者v·2024-01-24 12:20

Zookeeper集群 + Kafka集群，Filebeat+Kafka+ELK

目录什么是Zookeeper？Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper选举机制实验部署Zookeeper集群1.安装前准备安装JDK下载安装包2.安装Zookeeper修改配置文件拷贝配置好的Zookeeper配置文件到其他机器上在每个节点上创建数据目录和日志目录在每个节点的dataDir指定的目录下创建一个myid的文件配置Zookeeper启

思华年^O^·2024-01-24 12:48

kafka

kafka内容producer：发布消息的对象称之为主题生产者（Kafkatopicproducer）topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic）consumer：订阅消息并处理发布的消息的对象称之为主题消费者

IsLuNaTiC·2024-01-24 12:18

Kafka消费者提交偏移量

偏移量在Kafka中，偏移量（offset）是一个与分区相关的概念，用于跟踪一个消费者在分区中已经处理的消息位置。每个分区都有自己的偏移量，用于记录已经传递给消费者的消息的位置。

鲁班班·2024-01-24 12:18

登录kafka报错：Could notstart Jolokia agent: java.net.BindException: Address in use

在执行kafka命令增加或删除topic的时候，发现总是报错。Addressinuse？端口还是ip被占用了。只能禁用了，再执行命令。

后季暖·2024-01-24 12:48

分布式消息队列之RocketMQ

一RocketMQ概述1.1MQ概述1.1.1MQ简介MQ，MessageQueue，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生产、存储、消费全过程API的软件系统。

保护我方阿遥·2024-01-24 11:30

乐优商城（五十一）延时消息队列

目录一、需求1.1常见方案1.2缺点二、高效延时消息设计与实现三、RabbitMQ延时队列3.1Per-QueueMessageTTL3.2DeadLetterExchanges3.3小结3.4在队列上设置TTL3.4.1建立delay.exchange3.4.2建立延时队列（delayqueue）3.4.3配置延时路由规则3.4.4测试3.5在消息上设置TTL3.5.1设置延时队列3.5.2生产

飘来荡去、、·2024-01-24 11:29

消息队列基础知识

一、消息队列的作用1、异步处理发送者将消息发送给消息队列之后，不需要同步等待消息接收者处理完毕，而是立即返回进行其它操作。消息接收者从消息队列中订阅消息之后异步处理。

皓月v·2024-01-24 11:29

kafka集群的错误处理

今天由于kafka集群搭建时的配置不当，由于一台主消费者挂掉(服务器崩了，需要维修)，导致了所有新版消费者(新版的offset存储在kafka)都无法拉取消息。

Stalary·2024-01-24 10:16

laravel异步消息队列详细攻略Supervisor队列进程管理（实战）

1、laravel配置开启队列这里仅演示数据库队列查看下面/config/queue.php，里面defult对应的env常量是QUEUE_DRIVER，那就在项目根目录下的.env文件修改QUEUE_DRIVER=databaseenv('QUEUE_DRIVER','sync'),/*|------------------------------------------------------

雾里看花_·2024-01-24 10:36

JVM系列-5.java内存区域

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话

爱吃芝士的土豆倪·2024-01-24 10:53

Redis非关系型数据库

性能优越：读的速度为是十一万次每秒（官方），写的速度为八万一千次每秒（官方）应用场景：1.缓存热点或常用数据（热搜，热评）2.消息队列：（支付）3.高速读写（现场投票）注意事项：1.业务数据如果命中率很低

Responsibility_·2024-01-24 10:19

webrtc线程代码研究

webrtc线程类的实现集成了socket的收发，消息队列，值得研究，基于webrtc75版本。

老张音视频开发进阶·2024-01-24 10:13

IDEA报错：No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.

idea编辑flink连接kafka读取数据时报错：NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment

唯一2333·2024-01-24 09:09

消息中间件之八股面试回答篇：一、问题概览+MQ的应用场景+RabbitMQ如何保证消息不丢失（生产者确认机制、持久化、消费者确认机制）+回答模板

问题概览目前主流的消息队列技术（MQ技术）分为RabbitMQ和Kafka，其中深蓝色为只要是MQ，一般都会问到的问题。浅蓝色是针对RabbitMQ的特性的问题。蓝紫色为针对Kafka的特性的问题。

鸡鸭扣·2024-01-24 09:38

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。

让线程再跑一会·2024-01-24 07:17

推荐频道

消息队列--kafka