kafka消息中间件

黑猴子的家：读取properties配置文件

importjava.util.PropertiesobjectPropertyUtil{valproperties=newPropertiestry{valstream=ClassLoader.getSystemResourceAsStream("kafka.properties
黑猴子的家·2024-02-03 01:34

CDC 整合方案：Flink 集成 Confluent Schema Registry 读取 Debezium 消息写入 Hudi

本文介绍的整体方案选型是：使用KafkaConnect的DebeziumMySQLSourceConnector将MySQL的CDC数据（Avro格式）接入到Kafka之后，通过Flink读取并解析这些
　Laurence·2024-02-03 01:35

金九银十，啃完这35个Java技术栈，冲刺年薪百万

都是小编在各个大厂总结出来的面试真题，小编这次分享涵盖了Java后端面试必问的35个技术点：JVM、Linux、MyBatista、SpringBoot、Spring、SQL优化、Tomcat、Zookeeper、消息中间件
等风来.长·2024-02-03 00:17

啃完这35个Java技术栈，冲刺大厂offer

都是小编在各个大厂总结出来的面试真题，小编这次分享涵盖了Java后端面试必问的35个技术点：JVM、Linux、MyBatista、SpringBoot、Spring、SQL优化、Tomcat、Zookeeper、消息中间件
啊码·2024-02-03 00:16

kafka-zookeeper集群架构可视化监控，Kafka-Eagle安装部署

1、简介在kafka-zookeeper集群架构下，zookeeper管理kafka的元数据信息，如何监控这些信息，并且能够直观查看和管理kafka一些具体主题、分区等参数信息，是非常便于开发的，因此Kafka-Eagle
知其_所以然·2024-02-03 00:06

卡夫卡《变形记》人物小传

作者–弗朗茨·卡夫卡弗朗茨·卡夫卡（FranzKafka）是一位德国语言文学的重要作家，生于1883年7月3日，于1924年6月3日去世。他的作品以其深沉的哲学内涵和对人性困境的揭示而闻名于世。
贾斯汀玛尔斯·2024-02-02 21:46

基于scala使用flink将kafka数据写入mysql示例

使用Flink消费Kafka中ChangeRecord主题的数据，统计每三分钟各设备状态为“预警”且未处理的数据总数。
内向仓鼠·2024-02-02 21:10

windows安装prometheus+grafana

windows-amd64.tar.gz下载后直接解压解压后进入目录运行premetheus.exe，访问端口9090即可，需要查看监控的对象列表可以进入status>targets查看若需要监控服务器资源、数据库、kafka
Yu_摆摆·2024-02-02 20:31

Flink 的架构与组件

Flink支持各种数据源和接口，如Kafka、HDFS、TCP流等，并可以将处理结果输出到各种数据接收器，如HDFS、Elasticsearch、Kafka等。
禅与计算机程序设计艺术·2024-02-02 20:06

【代码随想录-链表】环形链表 II

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-02-02 18:48

SpringBoot使用Kafka详解含完整代码

1.前言随着大数据和实时处理需求的增长，Kafka作为一种分布式流处理平台，与SpringBoot的集成变得尤为重要。
孤蓬&听雨·2024-02-02 18:27

Docker学习之搭建ActiveMQ消息服务

在生产项目中，很多时候需要消息中间件来进行分布式系统间的通信。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能。本篇主要介绍A
Java大生·2024-02-02 16:41

Kafka集群搭建

Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。
莫噶·2024-02-02 14:30

Kafka 集群搭建

1、前提条件1、部署Kafka集群搭建需要服务器至少3台，奇数台2、Kafka的安装需要java环境，jdk1.83、Kafka安装包版本：kafka_2.11-0.10.0.1.tar.gz4、假设3
那小子、真烦·2024-02-02 14:30

kafka集群搭建

本文将记录使用kafka镜像，分别在两种场景下搭建3节点集群：1.在一台机器上使用容器方式安装kafka集群；2.在三台机器上使用容器方式安装kafka集群。
topswim·2024-02-02 14:30

2023-01-04

帅丙我工作以来接触的消息队列中间件有RocketMQ、Kafka、自研，是的因为我主要接触的都是电商公司，相对而言业务体量还有场景来说都是他们比较适合，再加上杭州阿里系公司偏多，身边同事或者公司老大基本都是阿里出来创业的
敲代码的小强·2024-02-02 13:00

Celery异步任务使用celeryconfig配置文件，启动Celery worker时出现ModuleNotFoundError

celeryconfig配置文件，启动Celeryworker时出现ModuleNotFoundError项目场景问题描述解决方案项目场景在学习Celery异步任务教程的过程中，在celeryconfig配置文件中设置消息中间件以及结果存储
何止XT·2024-02-02 12:42

【Kafka】 幂等和事务详解

目录幂等性为什么需要幂等性如何实现幂等性使用幂等幂等性的限制条件幂等性的实现原理事务为什么需要事务开启事务事务保证事务恢复的保证事务原子性的保证事务中Offset的提交保证用于事务特性的控制型消息事务流程事务原理FindCoordinatorRequestInitProducerIdRequest开启事务回话流的处理与转发阶段提交或回滚事务超时事务中止拒绝僵尸实例与分布式事务机制对比事务操作相关配
Ethan-running·2024-02-02 12:00

Kafka客户端实战

目录基础客户端引入依赖消息发送者主流程消息消费者主流程SpringBoot集成Kafka引入Maven依赖application.properties配置文件通过KafkaTemplate发送消息通过@
山鸟与鱼！·2024-02-02 12:29

go数据操作-Kafka

1.下载及安装gogetgithub.com/Shopify/sarama注意事项:saramav1.20之后的版本加入了zstd压缩算法，需要用到cgo，在Windows平台编译时会提示类似如下错误：github.com/DataDog/zstdexec:"gcc":executablefilenotfoundin%PATH%所以在Windows平台请使用v1.19版本的sarama。(如果不会
leellun·2024-02-02 12:59

kafka

在做平台项目的时候，需要使用kafka去做消息队列去向下位机传送指令来操作下位机。
毛毛的毛毛·2024-02-02 12:27

Flink 流式读取 Debezium CDC 数据写入 Hudi 表无法处理 -D / Delete 消息

问题场景是：使用KafkaConnect的DebeziumMySQLSourceConnector将MySQL的CDC数据（Avro格式）接入到Kafka之后，通过Flink读取并解析这些CDC数据，然后以流式方式写入到
　Laurence·2024-02-02 12:56

【Kafka】 存储机制

文件具体结构偏移量索引文件结构时间戳索引文件结构消息日志文件结构查找message过程使用偏移量索引文件使用时间戳索引文件相关配置日志清除及压缩日志清理基于时间基于日志大小基于偏移量日志压缩概述日志压缩实现细节磁盘数据存储顺序写零拷贝页缓存总结日志存储结构总体结构Kafka
Ethan-running·2024-02-02 12:56

使用docker部署Kafka(MAC Apple M2 Pro)

前置准备下载适用于AppleM2Pro的Zookeeper和KafkaDocker镜像dockerpullzookeeper:3.6dockerpullcppla/kafka-docker:arm下载成功后确认镜像无误
刘静咩·2024-02-02 10:47

spark题06

1.kafka收集数据的原理？2.讲讲列式存储的parquet文件底层格式？3.dataset和dataframe？4scala中trait特征和用法？5.redis和memcache的区别？
博弈史密斯·2024-02-02 09:59

字节跳动新一代云原生消息队列实践

作者：火山引擎云原生计算研发工程师｜雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下，经典消息队列Kafka的劣势开始逐渐暴露，在弹性、规模、成本及运维方面都无法满足业务需求。
字节跳动云原生计算·2024-02-02 09:53

Kafka 入门

一、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（messageQueue），主要用于大数据实时处理领域。
永恒的狼牙·2024-02-02 08:13

超详细的Kafka入门，看这篇就够了

超详细的Kafka入门，看这篇就够了kafka的介绍kafka的术语kafka核心Apikafka初の体验1.windows安装kafka2.KafkaProducer与KafkaConsumer配置说明
〆、风神·2024-02-02 08:11

Kafka入门

Kafka入门1.Kafka概述2.Kafka快速入门1.Kafka概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
Kevin_琪琪·2024-02-02 08:39

kafka入门

生产者发送消息，多个消费者只能有一个消费者接收到消息生产者发送消息，多个消费者都可以接收到消息（1）创建kafka-demo项目，导入依赖org.apache.kafkakafka-clients3.4.0
养一只摆烂猫.·2024-02-02 08:38

消息队列和Kafka

1.消息队列：将需要发送的数据存放在队列中2.消息队列中间件：存储消息的组件（软件），如Kafka、RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ3.Kafka应用场景：异步处理系统解耦流量削峰
一路向北看星晴·2024-02-02 07:47

Flink 实时写入数据到 ElasticSearch 性能调优

背景说明线上业务反应使用Flink消费上游kafkatopic里的轨迹数据出现backpressure，数据积压严重。单次bulk的写入量为：3000/50mb/30s，并行度为48。
zhisheng_blog·2024-02-02 06:45

JAVA操作Rabbitmq-原理讲的很详细

常见的消息队列很多，主要包括RabbitMQ、Kafka、RocketMQ和ActiveMQ，相关的选型可以看我之前的系列，这篇文章只讲RabbitMQ，先讲原理，后搞实战。
hjc_042043·2024-02-02 06:41

消息队列的应用场景

消息队列的应用场景消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka
hjc_042043·2024-02-02 06:10

消息模型与生成pdf

今日内容消息中间件RabbitMQ五种消息模型SpringAMQP生产pdfJaspersoftStudio第一章消息中间件(面试)消息队列中间件是分布式系统中重要的组件，主要解决异步消息，应用解耦，流量削峰等问题
Mr.YHL·2024-02-02 06:20

消息中间件特性

一：消息队列的主要作用是什么？1.消息队列的特性：业务无关，一个具有普适性质的消息队列组件不需要考虑上层的业务模型，只做好消息的分发就可以了，上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。FIFO，先投递先到达的保证是一个消息队列和一个buffer的本质区别。容灾，对于普适的消息队列组件来说，节点的动态增删和消息的持久化，都是支持其容灾能力的重要基本特性。性能，这个不必多说了，消息队
xmh-sxh-1314·2024-02-02 05:00

怎样才是优秀的程序员？

linux、mysql、redis、kafka、netty.学习系统性地学习，而不止于碎片知识。善于向优秀的人学习~每解决一个问题，就多进步一点点。知其然，还知其所以然。看书，看官方文档，阅读源码。
乐之者v·2024-02-02 03:06

替代ELK：ClickHouse+Kafka+FlieBeat，才是最佳选择？

背景SaaS服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。EasticsearchvsClickhouseClickHouse是一款高
LinkSLA·2024-02-02 01:44

消息中间件之RocketMQ源码分析(三)

RocketMQ中的Consumer启动流程RocketMQ客户端中有两个独立的消费者实现类分别为DefaultMQPullConsumer和DefaultMQPushConsumer，DefaultMQPullConsumerDefaultMQPullConsumer,该消费者使用时需要用户主动从Broker中Pull消息和消费消息，提交消费位点继承关系图核心属性namesrvAddr:继承自C
coffee_babe·2024-02-02 01:55

消息中间件之RocketMQ源码分析(四)

消费者的Rebalance机制客户端是通过Rebalance服务做到高可靠的。当发生Broker掉线、消费者实例掉线、Topic扩容等各种突发情况时，消费者组中的消费者实例是怎么重平衡的，以支持全部队列的正常消费的?Rebalance服务的类图RebalanceImpl的核心属性ConcurrentMapprocessQueueTable:记录MessageQueue和ProcessQueue的关
coffee_babe·2024-02-02 01:55

RabbitMQ（007 消息可靠性part2）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第45p-第p57的内容备用交换机交换机参数只有一个alternateexchange队列参数有很多如下
wang_book·2024-02-02 00:46

RabbitMQ（005 延迟队列）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第31p-第p37的内容延迟队列实现定时任务方式（不推荐）被动取消只有查询的时候才会进行修改状态
wang_book·2024-02-02 00:46

RabbitMQ（008 集群）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第58p-第p65的内容集群介绍数据库的元数据:字段名称类型长度小数点这些消息队列的元数据:交换机名称队列名称绑定
wang_book·2024-02-02 00:46

RabbitMQ（004 过期时间以及死信）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第21p-第p30的内容TTL过期时间-1代表永不过期无人接收并且过期的消息被称为：死信整个队列都设置过期时间如果队列和单独消息都设置过期时间了哪个时间短用哪个死信队列例子
wang_book·2024-02-02 00:16

RabbitMQ（006 消息可靠性part1）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第38p-第p44的内容消息可靠性confirm（保证消息到交换机的安全性）外部类写法函数式接口长这样第一步
wang_book·2024-02-02 00:16

Redis 5.0 Streams类型简介

它支持ConsumerGroup，熟悉Kafka或者RocketMQ等分布式消息队列的应该知道这个概念，通过将多个客户端加入同一个ConsumerGroup，可以实现多个客户端相互配合，每个消
空挡·2024-02-01 21:34

Kafka运维相关知识

目录一、基本概念二、技术特性三、设计思想四、运维建议一、基本概念Apachekafka是一个分布式的基于push-subscribe的消息系统，它具备快速、可扩展、可持久化的特点。
全脂主妇·2024-02-01 17:31

redis stream结合springboot构造简单消息队列

同时，stream借鉴了kafka的消费组模型概念和设计，使消费消息处理上更加高效快速。Redis中有三种消息队列模式：名称简要说明List不支持消息确认机制（Ack），不支持消息回朔pubSub不
jsl小时光·2024-02-01 17:50

重写代码实现Flink连接Redis集群（Java版，解决Flink无法连接私有IP Redis集群问题）

1缘起团队需要使用实时数据（小时级别）给业务系统使用，数据流向是这样：实时数据-》Kafka-》Flink-》Redis（集群和哨兵），可是，Flink原生并不支持Redis连接，于是，有第三方提供连接工具
天然玩家·2024-02-01 15:04

Flink消费kafka写入hive，报错GC

报错信息Flink消费kafka写入hive，报错GC。Taskmanager内存加到16GB。不起作用。
dgbcf·2024-02-01 15:55
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他