消息队列Kafka 第19页

Flink消费kafka写入hive，报错GC

报错信息Flink消费kafka写入hive，报错GC。Taskmanager内存加到16GB。不起作用。

dgbcf·2024-02-01 15:55

Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

本问题发生的场景是：使用KafkaConnect的DebeziumMySQLSour

　Laurence·2024-02-01 15:24

✅Redis-管道技术

Redis作为一种高性能的键值存储数据库，被广泛应用于缓存、会话存储、消息队列等场景。在处理大量请求时，性能是Redis最为关注的问题之一。

@泡泡糖·2024-02-01 14:19

Android-33源码分析: Handler消息机制

的声明：ActivityThread管理应用进程中主线程的执行，根据AMS调度执行广播和其他操作Handler发送消息并处理消息MessageQueue用于存放消息的消息队列Looper循环消息队列中的消息循环器

CHNE_TAO_EMSM·2024-02-01 14:10

Kafka下载安装及基本使用

目录Kafka介绍消息队列的作用消息队列的优势应用解耦异步提速削峰填谷为什么要用KafkaKafka下载安装Kafka快速上手（单机体验）1.启动zookeeper服务2.启动kafka服务3.简单收发消息

山鸟与鱼！·2024-02-01 13:15

Cloudera Manager开启kafka JMX监控

在ClouderaManager上创建了3节点的kafka集群服务，想要外部连接kafkaJMX监控kakfa数据，需要修改kakfa配置：-Dcom.sun.management.jmxremote.host

Troyong·2024-02-01 13:28

利用 Cloudera Manager下安装kafka

文章目录前言一、基于CDH版本选择安装1.1基于CDH版本选择安装1.2选择依赖项1.3角色分配1.4设置KafkaBroker配置1.5查看命令详请1.6安装概要1.7主页查看/启动前言本文章是是利用

914 JJ·2024-02-01 13:28

使用Cloudera Manager部署Kafka消息队列

一.下载需要安装的Kafka版本1.查看ClouderaDistributionofApacheKafka（简称CDK）版本CDK版本链接地址：https://www.cloudera.com/documentation

至尊宝l·2024-02-01 13:27

Cloudera Manager 安装 Kafka 并简单使用

Kafka简介kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

大数据AI·2024-02-01 13:25

转转基于MQ的分布式重试框架设计方案

文章目录1背景2方案3效果4可选项5注意事项6总结1背景在分布式场景下，为了保障系统的可用性和数据的最终一致性，采用基于消息队列（MQ）的重试机制是一种常见的解决方案。

转转技术团队·2024-02-01 12:11

Kafka 生产者缓存

不建议使用：publicvoidproduce(Stringmessage){DmsProducerproducer=newDmsProducer();try{producer.produce("test1",0,"key",message);}finally{producer.close();}}原因：每次调用produce函数时，都会新建一个producer，每次都需要进行新建与broker连

沉默终止·2024-02-01 11:00

李姓门徒·2024-02-01 11:00

利用Kafka实现延迟队列实践

利用Kafka实现延迟队列实践一、RocketMq二、kafka实践三、kafka实践+四、更多一、RocketMq阿里提供的RocketMq消息中间件是天然支持消息先延迟队列功能的，主要原理和实现方法可以参加以下链接

加权不下平权·2024-02-01 11:59

Kafka如何实现延迟队列？

Kafka并没有使⽤JDK⾃带的Timer或者DelayQueue来实现延迟的功能，⽽是基于时间轮自定义了⼀个⽤于实现延迟功能的定时器（SystemTimer）。

图图是个好孩纸~·2024-02-01 11:57

Kafka延迟队列的实现方式

ApacheKafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文将介绍如何使用Kafka实现延迟队列，并提供详细的Java示例。什么是延迟队列？

一叶飘零_sweeeet·2024-02-01 11:26

kafka实现延迟队列

前言首先说一下延迟队列这个东西，实际上实现他的方法有很多，kafka实现并不是一个最好的选择，例如redis的zset可以实现，rocketmq天然的可以实现，rabbitmq也可以实现。

走，我们去吹风·2024-02-01 11:55

confluent入库hive安全认证问题

使用confluent将Kafka中的数据入库hive失败的解决方案应用场景:用户想在HD平台使用confluent开源组件将Kafka中的数据直接导入到hive中,测试环境中已经实现,但生产环境中由于平台开启了

建康_木子·2024-02-01 10:08

【Redis】理论基础 - 概览

文章目录1.定义2.主要特性1）内存存储2）数据结构多样性3）持久化4）主从复制5）事务支持3.使用场景1）缓存2）消息队列3）实时统计与计数4）分布式锁总结Redis（RemoteDictionaryServer

好久不见的流星·2024-02-01 10:38

【万字长文】带你搞懂Kafka中的所有知识点

目录概述主题和分区日志消息压缩日志分段条件日志清理多副本写入流程生产者必要参数配置消息的发送流程元数据更新重要的生产者参数消费者消费者组分区分配策略协调器重平衡触发方式流程如何避免rebalance位移提交消费者offset的存储broker集群控制器事务消息保障传输幂等性事务概述ApacheKafka

1_5_2_·2024-02-01 09:46

18、Kafka ------ SpringBoot 整合 Kafka 流API（演示发送到test1主题的消息，被导流到 test2主题，通过监听器看是否导流成功）

目录SpringBoot整合Kafka流API流API的支持配置属性分析为流配置应用程序id配置流API使用@EnableKafkaStreams效果演示完整代码1、application.properties

_L_J_H_·2024-02-01 09:42

17、Kafka ------ SpringBoot 整合 Kafka 发送和接收消息（使用 KafkaTemplate 发送消息和使用 @KafkaListener 修饰监听器来接收消息）

目录SpringBoot整合Kafka发送和接收消息使用KafkaTemplate发送消息1、配置自动创建主题（代码）2、发送消息（代码）1、controller2、service3、演示1、启动应用程序

_L_J_H_·2024-02-01 09:11

7000字详解Spring Boot项目集成RabbitMQ实战以及坑点分析

本文给大家介绍一下在SpringBoot项目中如何集成消息队列RabbitMQ，包含对RibbitMQ的架构介绍、应用场景、坑点解析以及代码实战。

液态不合群·2024-02-01 08:17

实验3：利用Linux的消息队列通信机制实现三个线程间的通信

调用原型POSIX信号量–无名信号量POSIX信号量是Pthread线程库提供的一种同步机制，包括无名信号量和有名信号量两种机制。无名信号量，常用于多线程间的同步，也可用于相关进程间的同步（需置于相关进程间的共享内存区中）。有名信号量通过IPC名字进行进程间的同步，特点是把信号量保存在文件中，可用于线程、相关进程和不相关进程间的同步。#includeintsem_init(sem_t*sem,in

哇哇哇哇池·2024-02-01 08:40

go mysql transfer_go-mysql-transfer

特性1、简单，不依赖其它组件，一键部署2、集成多种接收端，如：Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、Ra

廖宝华·2024-02-01 08:40

k8s Sidecar filebeat 收集容器中的trace日志和app日志

目录一、背景二、设计三、具体实现Filebeat配置K8SSideCaryamlLogstash配置一、背景将容器中服务的trace日志和应用日志收集到KAFKA，需要注意的是trace日志和app日志需要存放在同一个

Cloud孙文波·2024-02-01 08:33

RabbitMQ 死信队列应用

1.概念死信队列（DeadLetterQueue）是在消息队列系统中的一种特殊队列，用于存储无法被消费的消息。消息可能会因为多种原因变成“死信”，例如消息过期、消息被拒绝、消息队列长度超过限制等。

lolitaline·2024-02-01 07:11

消息中间件（MQ）对比：RabbitMQ、Kafka、ActiveMQ 和 RocketMQ

RabbitMQ、Kafka、ActiveMQ和RocketMQ是当前流行的消息中间件之一，它们各自具有独特的特点和适用场景。本文将对这四种消息中间件进行综合比较，帮助您在项目中作出明智的选择。

CodeArtisanX·2024-02-01 07:07

KAFKA监控方法以及核心指标

文章目录1.监控指标采集1.1部署kafka_exporter1.2prometheus采集kafka_exporter的暴露指标1.3promethues配置告警规则或者配置grafana大盘2.核心告警指标

李姓门徒·2024-02-01 07:23

微服务16-RabbitMQ

AMQP：AdvancedMessageQueue，高级消息队列协议。它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息

teyruthy·2024-02-01 07:06

深入理解 Ribbon 的架构原理

为什么说它偏僻了，因为在面试中，聊得最多的是消息队列和缓存来提高系统的性能，支持高并发，很少有人会问负载均衡，究其原因，负载均衡的组件选择和搭建一般都是运维团队或者架构师去做的，开发人员确实很少接触到。

程序员xysam·2024-02-01 05:40

netlink学习

`netlink`套接字类似于一个消息队列：用户空间进程可以向内核发送命令或请求，内核也可以通过

cleanfield·2024-02-01 04:12

RabbitMQ实战指南（二）—— 基本概念

它遵循AMQP（高级消息队列协议）标准，支持多种编程语言和平台。下面是RabbitMQ的基本概念：消息：消息是数据的包装，由发布者发送到RabbitMQ的消息队列。生产者：生产者是发送消息的应用程序。

我的头发哪去了·2024-02-01 04:58

RabbitMQ实战指南（三）—— 高级特性

RabbitMQ实战指南（三）——高级特性RabbitMQ是一个功能强大的消息队列系统，提供了许多高级特性来满足各种消息传递的需求。

我的头发哪去了·2024-02-01 04:58

Linux进程间的通信方法之管道

目录1.进程间通信的方法2.管道的分类3.有名管道3.1常用命令3.2有名管道来演示进程间通信4无名管道5管道的特点6管道的实现1.进程间通信(IPC)的方法（1）管道（2）信号量（3）共享内存（4）消息队列

Danica~·2024-02-01 02:42

EFK-redis-logstash

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档EFK-redis-logstash前言一、配置elasticsearch二、增加消息队列1.安装redis跟logstash2.安装logstash3

小数，·2024-02-01 02:08

C#调用RabbitMQ实现消息队列

文章目录前言消息队列准备工作安装rabbitmq-serverRabbitMQ应用KibaRabbitMQSendKibaRabbitMQReceived服务器端应用安装Erlang环境安装RabbitMQ

安替-AnTi·2024-02-01 00:18

APUE学习之路（进程间通信IPC）

XSI又分为msg（消息队列）、sem（信号量数组）和shm（共享内存）。

天连水尾水连天·2024-01-31 22:34

APUE学习之进程间通信（IPC）（下篇）

同步关系与互斥关系3、临界区与临界资源4、信号量的工作原理5、信号量编程6、实战演练三、共享内存（SharedMemory）1、基本概念2、共享内存的优点3、共享内存的缺点4、共享内存编程5、实战演练四、消息队列

努力学代码的小信·2024-01-31 22:00

32个Java面试必考点-09(上)消息队列Kafka架构与原理

机智阳·2024-01-31 21:38

为什么你的创业公司应该运行在Kubernetes上

有些公司仅仅使用scp部署简单的PHP应用程序，就能让公司走的很远，而有些公司的架构达到极限，不得不使用诸如Redis或者Kafka这样的基础组件作为内部通信，从而将系统拆分为不同的服务。

云原生学院·2024-01-31 21:23

Spring Cloud Bus消息总线

SpringCludBus目前支持RabbitMQ和Kafka。SpringCloudBus配合SpringCloudConfig使用可以实现配置的动态刷新。

七七真的是太棒了·2024-01-31 17:01

RabbitMQ入门概念

MQ（Messagequeue释义）：消息队列，本质上就是一个队列。服务之间最常见的通信方式是直接调用彼此来通信,消息从

云村小威·2024-01-31 17:52

共享内存

消息队列的读取和写入的过程，都会有发生用户态与内核态之间的消息拷贝过程。那共享内存的方式，就很好的解决了这一问题。

安吉小可爱的爹地·2024-01-31 16:24

kafka_example_01

1安装brewhttps://www.jianshu.com/p/2b209d74139c安装目录：/usr/local/Cellar/kafka/1.1.02运行修改：1.app登录成功返回ErrorCode

Kate_Blog·2024-01-31 16:44

消息队列中为什么不用redis作为队列

本文转载于：https://mp.weixin.qq.com/s/uhMrqR__6qgpl7vrE_otTQ1引言我经常听到很多人讨论，关于把Redis当作队列来用是否合适的问题。有些人表示赞成，他们认为Redis很轻量，用作队列很方便。也些人则反对，认为Redis会丢数据，最好还是用专业的队列中间件更稳妥究竟哪种方案更好呢？这篇文章，就聊一聊把Redis当作队列，究竟是否合适这个问题。从简单到

上善若泪·2024-01-31 16:43

kafka集群部署(最新版本kafka_2.13-3.1.0)

集群环境：节点名ip地址OS版本部署服务broker信息kafka01192.168.96.10CentOSLinuxrelease7.9.2009(Core)jdk、zookeeper、kafkabroker

小米bb·2024-01-31 15:55

数据湖技术Iceberg0.12预研文档

Iceberg0.12预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1

我去探险了·2024-01-31 15:36

如何实例化Handler以及消息队列是何时绑定的

先看整体模型在newHandler的时候会在构造函数里面同时实例化一个Looper所以实例化Handler的前提条件就是要先实例化一个Looper，调用Looper.prepare()来实现的，没有调用prepare，是无法实例化Handler的，这里要注意ThreadLocal是在prepare函数那边set了Looper对象，所以get的时候才会有值，关于ThreadLocal可以专门看别的文

GabGo·2024-01-31 12:34

Redis热Key问题解决方案汇总

分摊读请求方法3:多级缓存,代理层面增加本地缓存+Redis+JVM缓存(Guava的LoadingCache,Caffeine等等)方法4:京东开源的hotkey工具Redis缓存问题Redis作为消息队列的优劣

Cat凯94·2024-01-31 11:33

理解Message, MessageQueue, Handler和Looper

Message---信使先看图作为一个信使当然是用来携带信息了arg1,arg携带基本数据,obj携带实体,what---哪个消息一般通过如下方式,先从消息池中获取,没有就创建二.MessageQueue消息队列

itkluo88·2024-01-31 11:05

推荐频道

消息队列Kafka