kafka消息系统源码解析

【分布式技术】消息队列Kafka

目录一、Kafka概述二、消息队列Kafka的好处三、消息队列Kafka的两种模式四、Kafka1、Kafka定义2、Kafka简介3、Kafka的特性五、Kafka的系统架构六、实操部署Kafka集群步骤一
liu_xueyin·2024-01-23 04:01

Hadoop -- ZooKeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop、Hbase、kafka、dubbo等重要组件。
Cool_Pepsi·2024-01-23 02:42

spring boot kafka 发送消息 完整的例子工程

以下是一个简单的SpringBootKafka发送消息的完整例子：首先，添加SpringBootKafka的依赖到你的pom.xml文件：xmlorg.springframework.bootspring-boot-starter-kafka
欧亨利式结局·2024-01-23 00:47

Redisson分布式锁源码篇

❤️文章目录Redisson分布式锁源码篇一、使用Redisson分布式锁1.1引入依赖1.2调用API二、源码解析2.1可重入锁原理(1)原理解释(2)源码分析①尝试获取锁②
欧克小奥·2024-01-22 23:13

【算法Hot100系列】跳跃游戏

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 21:04

kafka基础入门

ApacheKafka是一个事件流平台，其结合了三个关键的功能，使你可以完成端到端的事件流解决方案。发布(写)和订阅(读)事件流，包括从其他系统连续导入/导出数据。事件流存储具有持久性和可靠性。
从大数据到人工智能·2024-01-22 19:08

【算法Hot100系列】字母异位词分组

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 19:59

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log
十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面·2024-01-22 19:53

Prometheus插件安装kafka_exporter

下载地址https://github.com/danielqsj/kafka_exporter/releases解压tar-zxvfkafka_exporter-1.7.0.linux-amd64.tar.gzmvkafka_exporter
weixin_43169720·2024-01-22 18:41

Spark消费Kafka的两种方式

目录介绍Receiver方式code原理如何保证数据不丢失但是会导致数据重复问题优点缺点Direct(NoReceiver)方式code特点优点缺点介绍kafka版本，kafka0.8支持Receiver
这个程序猿可太秀了·2024-01-22 17:57

Kafka Connect: Debezium MySQL Connector 的 Partition 和 Replication 配置

使用KafkaConnect的DebeziumMySQLConnector将MySQL数据库中的CDC数据写入Kafka时，在Kafka默认允许自动创建Topic的情况下，KafkaConnect自动创建的
　Laurence·2024-01-22 17:56

如何本地安装Python Flask并结合内网穿透实现远程开发

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-22 17:36

在windows初装kafka

1.下载kafka:http://kafka.apache.org/downloadsimage.png2.解压image.png3.运行CMD到这里：image.png1).启动zookeeper.
小狼在IT·2024-01-22 17:37

分布式系统中为什么需要使用消息队列

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。
码农小旋风·2024-01-22 12:44

教你用认知和人性来做最棒的程序员

源码精品专栏精尽Dubbo原理与源码69篇精尽Netty原理与源码61篇中文详细注释的开源项目Java并发源码合集RocketMQ源码合集Sharding-JDBC源码解析合集SpringMVC和Security
芋道源码·2024-01-22 12:41

React Hooks 源码解析：useEffect

ReactHooks源码解析（4）：useEffectReact源码版本:v16.11.0源码注释笔记：airingursb/react1.useEffect简介1.1为什么要有useEffect我们在前文中说到
秋の本名·2024-01-22 11:07

【Flink-1.17-教程】-【四】Flink DataStream API（1）源算子（Source）

创建执行环境1.2.执行模式（ExecutionMode）1.3.触发程序执行2）源算子（Source）2.1.准备工作2.2.从集合中读取数据2.3.从文件读取数据2.4.从Socket读取数据2.5.从Kafka
bmyyyyyy·2024-01-22 11:34

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

某马头条——day06

kafka概述kafka环境搭建dockerpullzookeeper:3.4.14dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14安装kafkadockerpullwurstmeister
北岭山脚鼠鼠·2024-01-22 09:55

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取grafana监控Flink最新的模板背景在Flinkonyarn的模式下,程序运行的日志会分散的存储在不同的DN上,当Flink任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过FlinkUI上面的logs来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,
JasonLee实时计算·2024-01-22 08:33

ELK日志分析

Logstash（1）定义（2）插件①input②filter③output（三）可以添加的其它组件1.Filebeat（1）定义（2）filebeat结合logstash带来好处2.缓存/消息队列（redis、kafka
江南字子川·2024-01-22 08:55

JVM系列-3.类的生命周期

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-1.初识JVM

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:16

JVM系列-2.字节码文件详解

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话
爱吃芝士的土豆倪·2024-01-22 08:07

Kafka（八）使用Kafka构建数据管道

目录1使用场景2构建数据管道时需要考虑的问题2.1及时性2.2可靠性高可用可靠性数据传递2.3高吞吐量2.4数据格式2.5转换ETLELT2.6安全性2.7故障处理2.8耦合性和灵活性临时数据管道元数据丢失末端处理3使用ConnectAPI3.1Connect的数据处理流程sourcesinkconnectorsTasksWorkersTransformerConverters偏移量管理3.2运行
yunyun1886358·2024-01-22 07:35

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。
乐之者v·2024-01-22 07:04

Spark写入kafka（批数据和流式）

Spark写入（批数据和流式处理）Spark写入kafka批处理写入kafka基础#spark写入数据到kafkafrompyspark.sqlimportSparkSession,functionsasFss
中长跑路上crush·2024-01-22 07:02

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

Kafka常见指令及监控程序介绍

kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。
necessary653·2024-01-22 07:49

Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free
老耿·2024-01-22 06:02

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。
danci_·2024-01-22 00:08

HashSet源码解析从一道面试题说起：HashSet内部是怎么实现的？

本文原创地址，我的博客：https://jsbintask.cn/2019/03/27/jdk/jdk8-hashset/(食用效果最佳)，转载请注明出处!前言前段时间朋友面试遇到这个问题：谈一谈HashSet的特点，它是怎么实现的，使用时有什么需要注意的点呢？恰好最近在写这方面的文章，于是正好通过本篇文章讲解下HashSet的源码实现，需要注意的点。HashSet实现了Set接口，是一个不能够存
jsbintask·2024-01-21 23:05

【从零到一AIGC源码解析系列1】文本生成图片Stable Diffusion的diffusers实现

目录1.如何使用StableDiffusionPipeline1.1环境配置1.2StableDiffusionPipeline1.3生成非正方形图像2.如何使用diffusers构造自己的推理管线关注公众号【AI杰克王】StableDiffusion是由CompVis、StabilityAl和LAION的研究人员和工程师创建的文本到图像潜在扩散模型。它使用来自LAION-5B数据库子集的512x
AI杰克王·2024-01-21 20:39

intellij idea 编译 kafka 源码

以下是针对kafka1.1.1版本编译流程及在idea中启动的步骤从GitHub网站，gitclonekafka源码下载安装好gradle，scala进入kafka项目目录，执行gradleidea如果出现如下
专职掏大粪·2024-01-21 20:52

CSS Reset 的来龙去脉

CSSReset的来龙去脉.png目录浏览器的默认样式三种样式重置方法硬重置软重置个性化重置Normalize.css源码解析总结参考浏览器的默认样式作为一名Web开发者，我们都知道Google开发者工具的
CondorHero·2024-01-21 17:33

Kafka事务分析

Kafka幂等性Kafka幂等性含义幂等性起初是在HTTP协议中定义，是指一次和多次请求同一个资源对资源本身应当具有同样的效果。
WestC·2024-01-21 17:26

Flink容错机制（二）

状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink和Kafka
大数据阿嘉·2024-01-21 17:12

Go源码分析——Slice篇

Go源码分析专栏Go源码解析——Channel篇Go源码分析——Map篇Go源码分析——Slice篇文章目录Go源码
卑微的程序猿·2024-01-21 16:28

Spring BeanFactory

以下是对BeanFactory接口和它的默认实现DefaultListableBeanFactory的一些关键源码解析。请注意，由于Spring源码非常复杂且包含大量的接口和类
辞暮尔尔-烟火年年·2024-01-21 16:07

Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

我们知道当消息生产者生产的速度快于消费者的消费速度时，会产生大量的消息积压，大多数人的想法是增加消费者的数量来提升消费速度，这个想法在RocketMQ中是可行的，但是在Kafka中不一定可行。
coffee_babe·2024-01-21 16:36

Kafka 消息不能正常消费问题排查

订单宽表数据不同步事情的起因是专员在zeapp上查不到订单了，而订单数据是从mysql的order_search_info查询的，order_search_info表的数据是从oracel的BZ_ORDER_INFO表同步过来的，查不到说明同步有问题首先重启，同步数据，问题解决，然后查找原因。首先看日志，有如下两种情况有的容器消费消息的日志正常打印有的容器很长时间没有消费消息的日志（看着像是消息丢
Java识堂·2024-01-21 16:05

消息中间件之Kafka(二)

1.Kafka线上常见问题1.1为什么要对topic下数据进行分区存储?
coffee_babe·2024-01-21 16:04

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。
超越不平凡·2024-01-21 15:27

kafka 同步、异步发送

kafkaproducer默认是异步发送：在初始化producer实例时，会创建一个sender线程负责批量发送消息producer将消息暂存在缓冲区，消息根据topic-partition分类缓存消息达到
陆阳226·2024-01-21 13:59

如何实现支持数亿用户的长连消息系统 | Golang高并发案例

360消息系统介绍360消息系统更确切的说是长连接push系统，目前服务于360内部多个产品，开发平台数千款app，也支持部分聊天业务场景，单通道多app复用，支持上行数据，提供接入方不同粒度的上行数据和用户状态回调服务
蚯蚓也自由·2024-01-21 12:41

Retrofit 工作原理总结

Retrofit源码解析之请求流程概述Retrofit之Converter简单解析Retrofit之OkhttpCall执行原理详解Retrofit之CallAdapter简单解析基本上读完上面的几篇博文应该可以对
夜色流冰·2024-01-21 11:01

基于 Redis 实现高性能、低延迟的延时消息的方案演进

消息延迟处理:延时队列可以用于消息系统，其中一些消息需要在一段时间后才能被消费。例如，在需要进行消息重试的情况下，可以将消息放入延时队列，并在一段时间后重新处
小徐很努力·2024-01-21 10:10

Java8 异步非阻塞做法：CompletableFuture 两万字详解！

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
Java基基·2024-01-21 09:32

redisson-spring-boot-starter 自动化配置源码解析

版本redisson-spring-boot-starter:3.25.2此starter会自动注册RedissonClientBean并可通过注册RedissonAutoConfigurationCustomizerBean实现配置自定义@BeanRedissonAutoConfigurationCustomizerjdkCodecCustomizer(){returnconfiguration
路过君_P·2024-01-21 08:02
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他