分布式消息系统kafka

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比 侵删

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后文会做详细的介绍。现
心神沫沫·2024-01-01 10:47

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念MQ简介MQ,Messagequeue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后文会做详细的介绍。现
lxw1844912514·2024-01-01 10:14

Java程序员：世界有三个伟大的发明「火、轮子、kafka」

一、Kafka是什么？有人说世界上有三个伟大的发明：火，轮子，以及Kafka。
Java旺·2024-01-01 04:17

【Java基础系列】body参数前后端不一致

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-01 01:56

Kafka安装及简单使用介绍

java系列技术分享(持续更新中…)初衷:一起学习、一起进步、坚持不懈如果文章内容有误与您的想法不一致,欢迎大家在评论区指正希望这篇文章对你有所帮助,欢迎点赞收藏⭐留言更多文章请点击文章目录一、什么是Kafka
Dream_sky分享·2024-01-01 00:25

接收Kafka数据并消费至Hive表

1Hive客户端方案将Kafka中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在Kafka中的。
程序终结者·2023-12-31 23:49

Kafka_01_Kafka初识

Kafka_01_Kafka初识Kafka基础概念延迟任务KafkaKafka:ZooKeeper协调的分布式消息系统基于Scala语言编写的高性能、多分区、多副本Kafka高性能的原因：页缓存、顺序IO
爱喝可乐的w·2023-12-31 20:48

Kafka系列3-Kafka架构

一.工作流程Kafka中消息是以topic进行分类的，Producer生产消息，Consumer消费消息，都是面向topic的。
只是甲·2023-12-31 19:15

深度剖析 Kafka/RocketMQ 顺序消息的一些坑

我不记得有多少人问过以下这个问题了：我觉得这个问题问得很频繁，而且非常经典，在这里我就以Kafka为例子，说说我对Kafka顺序消息的一些理解吧，如有理解不对的地方麻烦留言指点一下。
fumi106·2023-12-31 19:14

sparkstreamnig实时处理入门

工程创建导入maven依赖  org.apache.spark  spark-streaming_2.12  3.1.2      org.apache.spark      spark-streaming-kafka
Guff_hys·2023-12-31 18:47

kafka 的零拷贝原理

文章目录kafka的零拷贝原理今天来跟大家聊聊kafka的零拷贝原理是什么？
皮皮攻城狮·2023-12-31 16:19

Redis经典五大类型源码及底层实现（二）

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-31 11:38

Flink 内容分享(十六)：Flink中的容错机制

1.2状态一致性1.2.1一致性的概念和级别1.2.2端到端的状态一致性1.3端到端精确一次（end-to-endexactly-once）1.3.1输入端保证1.3.2输出端保证1.3.3Flink和Kafka
之乎者也··2023-12-31 11:50

支付MQ消费场景改造

前言：这是一个MQ消费程序的业务优化改造场景，我们支付服务的消费方，主要功能是根据规则过滤一些消息，继而处理剩下的消息消息来源：框架监听binlog后向kafka中写入消息（只监听新增）背景：现有一个topicA
北i·2023-12-31 10:31

Kafka集群详解

Kafka介绍Kafka集群介绍Kafka集群特点Kafka集群搭建在这里插入图片描述Kafka集群如何进行故障切换Kafka集群Leader的选举Kafka集群如何快速横向拓展Kafka集群搭建最佳实践
有梦想的攻城狮·2023-12-31 10:00

kafka-python简单生产消费数据

kafka-python使用手册kafka-python1.生产者同步发送数据#生产者同步发送数据fromkafkaimportKafkaProducerfromkafka.errorsimportKafkaErrorproducer
高过蓝天的云·2023-12-31 08:12

Redis经典五大类型源码及底层实现（一）

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-31 08:11

Canal的学习

Canal基本概念整合SpringBoot基本概念Canal是一个基于MySQL数据库增量日志解析，提供增量数据订阅和消费，支持将增量数据投递到下游消费者（如Kafka、RocketMQ等）或者存储（如
kk变色龙13·2023-12-31 08:08

SpringAMQP的使用方式

比较常见的MQ实现：ActiveMQRabbitMQRocketMQKafka几种常见MQ的对比：RabbitMQActiveMQRocketMQKafka公司/社区RabbitApache阿里Apache
Winter.169·2023-12-31 07:51

Spark编程实验四：Spark Streaming编程

目录一、目的与要求二、实验内容三、实验步骤1、利用SparkStreaming对三种类型的基本数据源的数据进行处理2、利用SparkStreaming对Kafka高级数据源的数据进行处理3、完成DStream
Francek Chen·2023-12-31 06:24

kafka（基础）

kafka优点：1.解耦:原本单一的处理过程一拆为二，相当于你可以独立扩展和修改（遵循同样的接口约束）2.可恢复性:即使消息进程挂了，仍可在系统恢复后被处理3.缓冲:可以理解为生产消息的速度和消费速度不一致
斯莫奇·2023-12-31 05:42

分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题

但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！这个特性看起来很简单，但为什么缺省他们都不保证呢？
秋名山车神_f776·2023-12-31 05:59

kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state

kafka.zookeeper.ZooKeeperClientTimeoutException:Timedoutwaitingforconnectionwhileinstate:CONNECTING
spencer_tseng·2023-12-31 04:46

微服务网关选型和实践：Zuul、Spring Cloud GetWay、Kong和Traefik

2年经验总结，告诉你如何做好项目管理Java全套学习资料（14W字），耗时半年整理我肝了三个月，为你写出了GO核心手册消息队列原理和选型：RabbitMQ、Kafka、RocketMQ和ActiveMQ
楼仔·2023-12-31 04:11

k3s安装kafka集群管理工具eagle

KafkaEagle(kafka-eagle.org)smartloli/kafka-eagle:Aeasyandhigh-performancemonitoringsystem,forcomprehensivemonitoringandmanagementofkafkacluster
9e8aeff1c70c·2023-12-31 04:02

Kafka相关面试题知识点总结

1、请说明什么是ApacheKafka?ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景？
姜汁撞可乐·2023-12-31 01:27

最全java面试题及答案（208道）

容器、多线程、反射、对象拷贝、JavaWeb、异常、网络、设计模式、Spring/SpringMVC、SpringBoot/SpringCloud、Hibernate、MyBatis、RabbitMQ、Kafka
Java烟雨·2023-12-31 00:06

Flink 内容分享(九)：Flink生产环境相关问题

目录1.Flink+Kafka保证精确一次消费相关问题？2.你们的Flink怎么提交的？使用的per-job模式吗？3.了解过Flink的两阶段提交策略吗？讲讲详细过程。如果第一阶段宕机了会怎么办？
之乎者也··2023-12-30 22:00

华为ICT大赛 2022-2023 中国区 实践赛总决赛--云赛道(本科赛道)理论部分真题

大数据模块(共4题)：1、Kafka集群现已被多家不同公司作为多种类型的实时数据管道和实时消息系统使用。以下关于Kafka的描述，正确的是哪些项?
gaogao_jack·2023-12-30 22:50

Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？

一、概述一个产品的出现，通常都有其优缺点，辩证看待，方可明白其适合的应用场景。二、消息队列的优缺点消息队列的优点：前面已经讲述了消息队列的优点，请看文章“为什么要使用消息队列”。消息队列的缺点：系统可用性降低：记得之前大学无偿献血的时候，献血后爱心站会用无偿献血者爱心礼包，其中就包含一个工具盒，里面包含日常家用维修的各种工具，这个工具的可用性很好。如果其中一个工具使用坏了，还可以继续用其他很多的工
善思者_tin·2023-12-30 21:27

亚马逊云科技Amazon MSK基于S3云服务器实现导出导入、备份还原、迁移方案

亚马逊云科技AmazonMSK是Amazon云平台提供的托管Kafka服务。
Zaker科技·2023-12-30 21:53

Centos安装Kafka（KRaft模式）

1.KRaft引入Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
高过蓝天的云·2023-12-30 14:45

基于win10搭建Kafka+Zookeeper+KafkaManager+集成SpringBoot实现（一）

基于win10搭建kafka_2.13-2.8.0+Zookeeper3.7.0+KafkaManager1.3.3.7+集成SpringBoot实现
Shawn_F·2023-12-30 12:10

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入
十七✧ᐦ̤·2023-12-30 11:16

kafka实现延迟消息

背景我们知道消息中间件mq是支持延迟消息的发送功能的，但是kafka不支持这种直接的用法，所以我们需要独立实现这个功能，以下是在kafka中实现消息延时投递功能的一种方案kafka实现延时消息主要的思路是增加一个检测服务
lixia0417mul2·2023-12-30 11:45

python获取钉钉日志数据_python实现对kafka中日志数据监控报告（钉钉）

该脚本是作统计fromdatetimeimportdatetime,timedeltaimportosfromdingtalkchatbot.chatbotimportDingtalkChatbotfromkafkaimportKafkaConsumerimportre
weixin_39631445·2023-12-30 10:40

RedLock算法和底层源码分析

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:09

腾讯经典面试题-如何做一个迷你版的微信抢红包呢？

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:09

Redis的缓存过期淘汰策略

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:38

初识linux

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术如果感觉博主的文章还不错的话，请三连支持一下博主哦博主正在努力完成
爱吃芝士的土豆倪·2023-12-30 09:37

Flink实时电商数仓（八）

用户域登录各窗口汇总表主要任务：从kafka页面日志主题读取数据，统计七日回流用户：之前活跃的用户，有一段时间不活跃了，之后又开始活跃，称为回流用户当日独立用户数：同一个用户当天重复登录，只算作一个独立用户
十七✧ᐦ̤·2023-12-30 09:55

Docker搭建kafka集群

Docker搭建kafka集群kafka概念broker：消息中间件处理节点，一个broker就是一个kafka节点，一个或者多个broker就组成了一个kafka集群topic：kafka根据topic
whhwch1986·2023-12-30 09:11

记录一次云服务器使用docker搭建kafka的过程

创建网络一定要将zookeeper注册中心与kafka建在一个network中，不然在springboot集成kakfa的demo测试代码中进行消息发送时会超时，报错：Exceptionthrownwhensendingamessagewithkey
ZYNORL·2023-12-30 09:32

NAST概述

不同于Java社区的kafka，nats偏于redis式的消息中间件，不不像Kafka式的可以持久化。NATS原来是使用Ruby编写，可以实现每秒150k消息，后来使用Go语言重
背帆·2023-12-30 08:52

私有部署ELK，搭建自己的日志中心（六）-- 引入kafka对采集日志进行削峰填谷

一、背景首先，要说明一点，elk日志中心，是可以缺少kafka组件的。其次，如果是研发环境下，机器资源紧张的情况下，也是可不部署kafka。
天草二十六_简村人·2023-12-30 06:04

flink 消费Kafka 空指针问题

flink消费Kafka空指针问题error：2021-12-0210:51:55,644WARNorg.apache.flink.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁·2023-12-30 06:30

大数据技术之Debezium

Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及KakfaConnect。
青涩的芒果汁·2023-12-30 06:30

Kafka常用消费者命令

bin/kafka-console-consumer.sh--bootstrap-serverxxx05:9092--topicxxx_mongo.xxx2021--from-beginningbin/
青涩的芒果汁·2023-12-30 06:00

ELK-Nginx+logstash-kafa-logstash-elasticsearch

把Nginx的日志由logstash收集在写到kafa在由logstash抽出给elaticsearch一配置logstash写入kafka[root@linux-node3~]#cd/etc/logstash
zhao34yan1·2023-12-30 05:11

spring 运行时替换 单例bean 实现

前言kafka、redis这些中间件可能会出现超时，这时候我们可能会需要修改他们的链接地址，此时就需要动态替换这些bean思路首先要知道这bean是怎么放到spring容器中的，是放在哪里的？
帆影匆匆·2023-12-30 05:38
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他