kafka源码分析

kafka学习笔记5 PLAIN认证——筑梦之路

在Kafka中，SASL（SimpleAuthenticationandSecurityLayer）机制包括三种常见的身份验证方式：SASL/PLAIN认证：含义是简单身份验证和授权层应用程序接口，PLAIN
筑梦之路·2025-01-21 09:00

我的软件架构师——Java 职位面试经历。

面试官问我有关AWS、Docker、Kubernetes、Kafka、ElasticSearch、SQL/NoSQL和设计模式的问题。
小蜗牛慢慢爬行·2025-01-21 08:44

你说通过Kafka AdminClient获取Lag会有性能问题？尊嘟假嘟0.o

0.前言前阵子团队里出了个大故障，本质是因为其他语言实现的client有问题，非常频繁的请求大量元数据，而Kafka服务端这边也没有做什么限制，导致KafkaBroker宕了。
·2025-01-21 03:31

Mybatis-plus 多租户插件

源码分析MybatisPlus官方是由TenantLineInnerInterceptor这个拦截器进行多租户功能处理，所以，本篇章主要对TenantLineInnerInterceptor这个类的讲解
YaYicho·2025-01-21 00:55

kafka 学习笔记3-传统部署Kraft模式集群——筑梦之路

部署kafka集群规划一般模式下，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。
筑梦之路·2025-01-20 19:10

Go 语言源码分析——map

哈希表用于存储键值对的映射关系，具有O(1)的读写性能。通过哈希函数可以将不同的键映射到不同索引上，当不同的键映射到同一个索引上时，会产生哈希冲突，可通过开放寻址法、链表法来解决哈希冲突，其中Go使用的是链表法。一、数据结构map将键值对存放在桶数组中，每个桶只保存8个键值对，通过键的低8位选择桶，通过键的高8位选择放在桶的哪个位置。如果有超过8个键值对映射到同一个桶，则会放到溢出桶typehma
SSSTing_·2025-01-20 17:51

【kafka】简单运用go语言操作kafka实现生产者和消费者功能的包，confluent-kafka-go和sarama

confluent-kafka-go和sarama对比特性confluent-kafka-gosarama底层实现基于librdkafkaC库完全用Go实现性能高吞吐量、低延迟吞吐量较低，适合常规应用安装依赖需要
{⌐■_■}·2025-01-20 16:17

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka
快乐骑行^_^·2025-01-20 13:42

Go 语言 map源码分析及图解（一）（查找、写入、删除K/V值）

值定位K/V值map创建计算桶的数量申请buckets内存空间tophash标记位介绍查找K/V值（mapaccess1）写入K/V值（mapassign）删除K/V值（mapdelete）map扩容的源码分析见下一节
Mr.禾·2025-01-20 10:38

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中
本旺·2025-01-20 06:01

Hadoop 和 Spark 的内存管理机制分析

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-20 03:27

kafka

Kafka学习之路Kafka必知必会kafka核心原理go操作kafka消息队列之-KafkaKafka分区分配策略或(https://blog.csdn.net/u013256816/article/
宋song一·2025-01-19 20:28

defer 源码分析

在Go语言中多个defer形成一个链表.defer语句会首先调用一个deferproc函数,new一个对应的结构体挂载到对应的G上面调用new之前会从G所绑定的P的deferpool里面取,没有取到会从全局的deferpool里取,实在没有的话才新建一个。这是Goruntime里非常常见的操作，即设置多级缓存，提升运行效率在执行RET指令之前（注意不是return之前），调用deferreturn
线程A·2025-01-19 20:56

揭秘 Fluss 架构组件

Fluss部署，带领大家部署Fluss环境，体验一下Fluss的功能Fluss整合数据湖的操作，体验Fluss与数据湖的结合讲解了Fluss、Kafka、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
·2025-01-19 19:57

深入探讨Kafka：架构、实现原理与开发实践

深入探讨Kafka：架构、实现原理与开发实践ApacheKafka是一个高性能的分布式流处理平台，广泛应用于实时数据处理、日志收集、消息发布/订阅等领域。
Ceramist·2025-01-19 18:41

9.kafka单实例安装

1.环境信息OSVersionZookeeperVersionUserRHEL7.73.8.0rootkafka官网下载地址：ApacheKafka备注：与在同一台服务器。
小黑要上天·2025-01-19 16:19

DynamicDatasource动态数据源实现及使用

文章目录动态数据源DynamicDatasource简介源码分析ThreadLocal和AbstractRoutingDataSourceDynamicRoutingDataSourceDynamicDatasource
m0_74825074·2025-01-19 15:09

【Lua源码分析系列】1. 概述

如题，这是一系列关于Lua的源码分析的文章。分析的重点在编译原理和虚拟机的部分，而不是相关的库的实现部分。写这系列文章，最初是因为想要设计一门编程语言以及它的虚拟机，为此参考现有的优秀的实现。
·2025-01-19 11:07

Golang map实现原理及源码分析

本文涉及到的源码版本为GoSDK1.16.11、map的基本结构map是Golang中的一种常用数据结构，其本质上是一种哈希表，类似于java的HashMap以及Python的字典(dict)，是一种存储键值对(Key-Value)的数据结构。一般的Map会包含两个主要结构：数组：数组里的值指向一个链表链表：目的解决hash冲突的问题，并存放键值而在Golang中，解决hash冲突的不是链表，而是
Aeiu·2025-01-19 08:42

Kafka面试夺命连环30问（一）

1、kafka消息发送的流程？Producer创建并配置。发送消息，消息被序列化，并通过配置的分区规则决定发送的分区。Producer发送请求，通过网络将消息发送到相应的Broker。
知否&知否·2025-01-19 07:36

docker部署ELK日志系统+kafka

docker部署ELK日志系统+kafka1.部署elasticsearch#拉取镜像dockerpullelasticsearch:7.6.2#创建文件夹mkdir-p/data/elk/es/config
weixin_50837690·2025-01-19 04:08

基于docker微服务日志ELK+Kafka搭建

ELK是Elasticsearch、Logstash、Kibana的简称Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVAAPI等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程
我是奶龙！我是奶龙！我是奶龙！·2025-01-19 02:16

使用 Hadoop 实现大数据的高效存储与查询

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 23:24

Flink 使用 Kafka 作为数据源时遇到了偏移量提交失败的问题

具体的错误日志21:43:57.069[KafkaFetcherforSource:CustomSource->Map->Filter(1/1)#2]ERRORorg.apache.kafka.clients.consumer.internals.ConsumerCoordinator
java我跟你拼了·2025-01-18 23:19

QML音视频实时通信

QML音视频实时通信使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:44

QML Web云应用开发

QMLWeb云应用开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:14

QT硬件接口设计

QT硬件接口设计使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:44

【QT教程】QML音视频效果实现 QT音视频

QML音视频效果实现使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:43

MediaCrawler 小红书爬虫源码分析

前言MediaCrawler是最近冲上Github热搜的开源多社交平台爬虫。虽然现在已删库，但还好我眼疾手快，有幸还Fork了一份，乘着周末，简单分析了下小红书平台的相关代码。爬虫难点一般写爬虫，都需要面对以下几个问题如果app/网页需要登录，如何获取登录态（cookie/jwt）大部分app/网页都会对请求参数进行sign，如果有，如何获取sign逻辑绕过其它遇到的反爬措施我将带着这三个问题，阅
·2025-01-18 22:46

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （正在更新中~）别人能写出来的，你也能行！多学习别人的思路，形成自己的思路，高薪工作奔你而来！

后一篇链接在这接上一章请先看解读序列化抽象类第一部分（这是一个链接）目录接上一章请先看解读序列化抽象类第一部分2.Java序列化实现类JavaSerializer(1)JavaSerializationStream类代码实际例子1：序列化(2)JavaDeserializationStream代码实际例子2：反序列化Spark源码下类图在学习过程中，抓住主要问题，请思考问题为什么Kryo序列化更加
小白的大数据历程·2025-01-18 22:07

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （java序列化部分完结，正在更新RpcEnv部分~）

目录(3)JavaSerializerInstance定义了一个Java序列化实例(1)构造方法参数(2)方法1：serializeStream(3)方法2：deserializeStreamdefaultClassLoader(4)方法3：deserializeStreamloader(5)方法4：serialize(6)方法5：deserializeloader(7)方法6：deseriali
小白的大数据历程·2025-01-18 22:37

kafka+connector集群迁移

示例环境ip部署信息备注192.168.181.121zookeeper、kafka、connecter待迁移集群节点1192.168.181.14zookeeper、kafka、connecter待迁移集群节点
mark.meng·2025-01-18 20:47

使用java代码消费kafka数据

首先创建maven项目，导入jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据
二进制_博客·2025-01-18 19:34

【Bluedroid】HFP连接流程源码分析（一）

Bluedroid蓝牙HFP（HFP,Hands-FreeProfile）连接流程涵盖多个环节，从前期准备到连接建立、状态管理以及维护与断开，各环节紧密相扣，确保蓝牙免提连接稳定可靠。一、概述1.1.连接前准备用户操作：用户需在Android设备上开启蓝牙功能。同时，目标蓝牙设备（如车载蓝牙）要进入配对模式，Android设备通过搜索发现目标设备并完成配对，此过程可能需用户输入PIN码或确认配对请
byte轻骑兵·2025-01-18 15:05

百万架构师第二十二课：源码分析：Spring 源码分析：Spring经典面试答疑｜JavaGuide

Spring面试解答上半节：面试中需要注意的细节动脑子，面试是一种交流面试的时候，要用心去感受当时面试场景了解自己，自己的长处、自己的短处（巧妙地扬长避短）了解1.公司的业务场景2.你是去面试什么岗位的？Java高级工程师实际工作经验是1年（如实填写）1、请描述SpringIOC的工作原理答：定位加载注册BeanFactoryBeanDefintion...1-3年1+ApplicationCon
·2025-01-18 13:24

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个
Vez'nan的幸福生活·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka
武子康·2025-01-18 10:29

Rabbitmq源码分析，重复消费问题的redis或数据库代码实现

目录底层源码解析自定义唯一id算法MessageProperties类的相关实现自定义消息ID生成器配置和使用Rabbitmq是怎么判断是不是重复消息的呢？通过Redis的幂等性处理消息消费者实现分布式锁实现的重复检测完整的消息处理流程基于数据库实现Mapper接口消息处理服务RabbitMQ消息消费者底层源码解析RabbitMQ判断重复消息主要通过消息的唯一标识（MessageId）和幂等性处理
xweiran·2025-01-18 10:26

Springboot项目如何消费Kafka数据

目录一、引入依赖二、添加Kafka配置三、创建Kafka消费者（一）Kafka生产的消息是JSON字符串1、方式一2、方式二：需要直接访问消息元数据（二）Kafka生产的消息是对象Order四、创建启动类五
布朗克168·2025-01-18 10:25

装饰器模式详解（附代码案例和源码分析）

目录装饰器模式的本质装饰器模式和继承结构的对比源码中IO流的继承结构具体装饰器类装饰器的组合应用装饰器链的特点代码案例定义coffee类型coffee的实现类装饰器抽象类装饰器-季节限定装饰器——加牛奶装饰器——加糖生成咖啡的简单工厂咖啡制作服务（动态加功能）装饰器模式的优点装饰器模式的缺点装饰器模式的本质装饰器模式允许向一个现有的对象添加新的功能，同时又不改变其结构。它是一种用于代替继承的技术，
xweiran·2025-01-18 08:38

Python 爬虫：获取网页数据的 5 种方法

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 07:35

spring-mvc源码分析v3.3.0

分析下springboot内嵌tomcat启动流程，即springboot-mvcorg.springframework.bootspring-boot-starter-web3.3.0环境信息Java22SpringBootv3.3.0ApacheTomcat/10.1.24spring-boot-starter-web3.3.0测试项目主要文件结构：@RestControllerpublicc
想花·2025-01-18 03:35

如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？
·2025-01-17 19:07

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在
大模型大数据攻城狮·2025-01-17 19:56

kafka直接对接nginx

很多时候我们要对nginx产生的日志进行分析都是通过flume监控nginx产生的日志，通过flume把日志文件发送该kafka，flume作为生产者，但是这种方式的缺点就是可能效率会比较慢，除此之外还可以使用
Lu_Xiao_Yue·2025-01-17 10:04

Spring Boot 和微服务：快速入门指南

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-17 09:56

RK3399 PCIe 中断处理与映射分析（INTx中断机制源码分析）

往期内容本文章相关专栏往期内容，PCI/PCIe子系统专栏：嵌入式系统的内存访问和总线通信机制解析、PCI/PCIe引入深入解析非桥PCI设备的访问和配置方法PCI桥设备的访问方法、软件角度讲解PCIe设备的硬件结构深入解析PCIe设备事务层与配置过程PCIe的三种路由方式PCI驱动与AXI总线框架解析（RK3399）深入解析PCIe地址空间与寄存器机制：从地址映射到TLP生成的完整流程PCIe_
憧憬一下·2025-01-17 07:09

大数据框架之kafka详解

目录1kafka介绍1.1kalka是什么？1.2Kafka内部原理1.3为什么需要消息队列？
xingchensuiyue·2025-01-17 06:30

消息中间件的基础概念入门

消息中间件的主要作用解耦合异步通信负载均衡可靠性与持久性消息路由与调度削峰事务支持监控与审计跨平台和跨语言支持二、常用消息中间件对比2.1、RabbitMQ2.1.1、特点2.1.2、适用场景2.2、ApacheKafka2.2.1
全镇人的希望·2025-01-17 05:28

Kafuka查看版本的方法

kafka查看版本方法：定位到kafka的安装目录，然后执行以下脚本find.
thinking-fish·2025-01-17 05:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他